> For the complete documentation index, see [llms.txt](https://cleyrop.gitbook.io/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://cleyrop.gitbook.io/docs/projet-data-and-ia/dataflow/executer-deployer-et-automatiser.md).

# Exécuter, déployer et automatiser

Une fois un Dataflow prêt et validé, vous pouvez **l'exécuter ou le planifier** pour qu’il s’exécute automatiquement selon une fréquence donnée ou un enchaînement logique avec d’autres Dataflows ou Datasets.

La planification permet de maintenir vos processus à jour sans intervention manuelle, et d’**orchestrer** plusieurs flux entre eux.

| Mode          | Description                                                                | Exemple d’usage                                                     |
| ------------- | -------------------------------------------------------------------------- | ------------------------------------------------------------------- |
| **Manuel**    | Lancement ponctuel depuis l’interface (bouton *Exécuter*).                 | Tests, ajustements, validation d’une nouvelle version.              |
| **Récurrent** | Exécution automatique selon une fréquence définie.                         | Mise à jour quotidienne des datasets de reporting.                  |
| **Evénement** | Déclenché à évenement (Mise à jour Dataset / Dataflow, dépôt d'un fichier) | Rafraîchissement d’un Dataflow de synthèse après plusieurs sources. |

***

## Visualiser les exécutions

Vous pouvez visualiser l'ensemble des exécutions planifiées ou non, depuis la liste des Dataflow - onglet Historique ou depuis le manu Exécutions du Dataflow

L’onglet Exécutions affiche l’historique de toutes les exécutions, qu’elles soient manuelles ou planifiées.

Pour chaque exécution vous pouvez retrouver (dans la liste ou la fiche détaillée) :

* Type d’exécution (manuelle / planifiée / événement),
* Date et l’heure et Durée totale
* Statut (succès, erreur, annulée, en attente),
* Partielle (une seule transformation exécutée) ou Globale
* Cluster d'exécution
* Dataflow et branche exécutés

Vous pouvez cliquer sur une **transformation** pour voir son détail et consulter les **logs détaillés** de chaque transformation.

{% hint style="warning" %}
Si votre Exécution reste `En attente`, elle est dans la [File d'attente](/docs/projet-data-and-ia/dataflow/analyser-les-executions-et-logs.md#position-dans-la-file-dattente) du Cluster
{% endhint %}

Prévisualisez directement les datasets produits par vos transformations.

## Visualiser ou filtrer les résultats d’exécution

Après chaque exécution (manuelle ou planifiée), vous pouvez **visualiser les résultats dans la prévisualisation d'un Dataset.**

Depuis le graphe du Dataflow ou depuis la fiche de la dernière exécution :

* Cliquez sur un **dataset de sortie** pour afficher sa **prévisualisation** (jusqu’à 100 premières lignes) ainsi que son schéma complet (colonnes, types, nullable…).
* Pour filtrer ou explorer les résultats, accédez à l'onglet **Exploration SQL de la fiche prévisualisation** dans l'interface du dataflow

<figure><img src="/files/o8fjL4PnL6rRZ2brfQzU" alt=""><figcaption></figcaption></figure>

{% hint style="info" %}
Si la Prévisualisation n’apparaît pas alors qu’elle devrait, il s’agit souvent d’un [problème de schéma](/docs/projet-data-and-ia/dataflow/creer-un-dataflow/configurer-un-dataset-de-sortie.md#gerer-le-schema-du-dataset-de-sortie)
{% endhint %}

## Déployer un Dataflow <a href="#publier-un-dataflow" id="publier-un-dataflow"></a>

Un fois que votre Dataflow est prêt, vous pouvez passer votre Dataflow en **Production** en le **déployant**. Le déploiement en production permettra :

* La visibilité dans la bibliothèque des datasets de sortie **Référencés**
* La **réutilisation des Datasets de sortie référencés** du Dataflow au sein du projet (Autres Dataflows, Dashboards...)
* La [**publication dans le catalogue**](/docs/projet-data-and-ia/datasets/publier-au-catalogue.md) des datasets afin d'être réutilisés par dans d'autres projets
* La [**collaboration sur le Dataflow**](/docs/projet-data-and-ia/dataflow/collaborer-et-versionner.md) via le versionning avec les autres membres du projets

{% hint style="danger" %}
Le **déploiement** du dataflow **générera automatiquement une exécution du Dataflow.**
{% endhint %}

Pour garantir une bonne qualité des données et transformations, il est fortement **recommandé** avant de passer en Production que :

* La dernière exécution globale du Dataflow soit en **statut&#x20;**<mark style="color:green;">**`Succès`**</mark>
* Que les données soient propres, pour cela vous pouvez [**réinitialiser les données**](/docs/projet-data-and-ia/dataflow/creer-un-dataflow/configurer-un-dataset-de-sortie.md#reinitialiser-les-donnees) d'un Dataset de sortie ou [**supprimer des colonnes**](/docs/projet-data-and-ia/dataflow/creer-un-dataflow/configurer-un-dataset-de-sortie.md#creer-un-dataset-depuis-un-dataframe-pandas-version-polars) inutiles avant passage en Production

Pour passer le Dataflow en Production, cliquez sur le bouton `Déployer` en haut à droite de la page

## Gérer vos planifications

{% hint style="warning" %}

* Seuls les **Owner du Dataflow** et **Responsable projet** peuvent créer ou modifier une planification
* Un Dataflow doit être en **Production** pour pouvoir être automatisé
  {% endhint %}

1. Depuis la liste des Dataflow, sélectionnez le bouton <i class="fa-pen">:pen:</i> `Informations` ou depuis le Dataflow cliquez sur <i class="fa-gear">:gear:</i> `Informations`, puis `Modifier`
2. Dans la partie Rafraîchissement, vous pouvez :
   * Ajoutez une ou plusieurs **récurrences** : fréquence d’exécution (quotidienne, hebdomadaire, horaire, etc.) et l’heure de lancement\
     💡 Vous pouvez créer plusieurs planifications pour un même Dataflow (ex. version de test quotidienne, version complète hebdomadaire).
   * Ajouter un **déclencheur à événement** : choisissez le type puis le nom du déclencheur
     * **Dataset** : choisissez le Dataset pour lequel le déclencheur sera activé au **succès** d'une rafraîchissement
     * **Dataflow** : choisissez le Dataflow pour lequel le déclencheur sera activé au **succès** d'une **exécution**
     * **Données de travail** : choisissez le dossier pour lequel le déclencheur sera activé à l'arrivée d'un fichier

Vous pouvez depuis ce panneau **modifier** ou **supprimer** une planification.

<figure><img src="/files/tmTIRFrHsVsVXjOjxCCr" alt=""><figcaption></figcaption></figure>

***

## Bonnes pratiques

* Utilisez des plages horaires décalées pour éviter les **pics de charge** (par ex. 2h plutôt que minuit).
* Pour les traitements critiques, activez une **alerte** en cas d’échec.
* Testez toujours une planification sur un cluster léger avant de la déployer en production.
* Documentez vos planifications (description, fréquence, dépendances) pour faciliter la maintenance.