Configurer et modifier des tâches Databricks

Cet article se concentre sur les instructions relatives à la création, à la configuration et à la modification de tâches à l’aide de l’IU de l’espace de travail Workflows.

Azure Databricks gère les tâches comme composants des projets Databricks. Un projet a une ou plusieurs tâches. Vous créez un projet dans l’IU de l’espace de travail en configurant la première tâche. Pour configurer un nouveau projet, consultez Configurer et modifier les projets Databricks.

Chaque tâche a une ressource de capacité de calcul associée qui exécute la logique de tâche. Si vous utilisez serverless, Azure Databricks configure vos ressources de capacité de calcul. Si vous n’utilisez pas serverless, consultez Configurer la capacité de calcul pour les projets.

Azure Databricks dispose d’autres points d’entrée et outils de configuration de tâche, notamment les suivants :

• Référence API REST de projets
• Qu’est-ce que l’interface CLI Databricks ?
• Créer et gérer des projets de notebooks planifiées

Créer ou configurer une tâche

Pour modifier une tâche existante ou en ajouter une nouvelle avec l’IU de l’espace de travail, sélectionnez un projet existant en suivant les étapes suivantes :

1. Cliquez sur Workflows dans la barre latérale.
2. Dans la colonne Nom, cliquez sur le nom d’un travail.
3. Cliquez sur l’onglet Tâches. Le graphique de tâche s’affiche.
4. Pour modifier une tâche, cliquez sur le nom de la tâche. La configuration de la tâche apparaît sous le graphique de tâche.
5. Pour ajouter une tâche, cliquez sur .

Types de tâches

Les options de configuration et les instructions varient selon la tâche. Les types de tâches suivants sont disponibles :

• Notebook
• Script Python
• Roue Python
• SQL
• Pipeline DLT
• dbt
• JAR
• Envoi Spark
• Exécuter le projet
• If/else
• For each

Cloner une tâche

Clonez les tâches pour copier toutes les configurations d’une tâche existante, y compris les dépendances en amont.

Pour cloner une tâche, procédez comme suit :

1. Sélectionnez la tâche dans le graphique des tâches.
2. Cliquez sur .
3. Spécifiez un nom de tâche cloné, puis cliquez sur Cloner.

Supprimer une tâche

Pour supprimer une tâche, procédez comme suit :

1. Sélectionnez la tâche dans le graphique des tâches.
2. Cliquez sur et sélectionnez Supprimer la tâche.

Copier un chemin d'accès de tâche

Certains types de tâches, par exemple les tâches de notebook, vous permettent de copier le chemin d’accès au code source de la tâche :

1. Cliquez sur l'onglet Tâches.
2. Sélectionnez la tâche contenant le chemin d’accès à copier.
3. Cliquez sur en regard du chemin d’accès de tâche pour copier le chemin d’accès dans le Presse-papiers.

Paramètres de tâche avancés

Les paramètres avancés suivants contrôlent les nouvelles tentatives pour les tâches en échec et les stratégies de délai d’expiration pour les tâches qui ne répondent pas.

Définir une stratégie de nouvelle tentative

Le paramètre par défaut pour les nouvelles tentatives de tâche dépend de la configuration du projet. Pour la plupart des configurations, le paramètre par défaut n’effectue aucune nouvelle tentative de tâches en cas d’échec de tâche.

Les projets serverless optimisent automatiquement les nouvelles tentatives par défaut. Consulter Configurer l’optimisation automatique de la capacité de calcul serverless pour interdire de nouvelles tentatives

Les projets continus utilisent une stratégie de nouvelles tentatives de backoff exponentiel. Voir Comment les échecs sont-ils gérés pour les travaux continus ?.

Pour configurer une stratégie qui détermine quand et combien de fois les exécutions ayant échoué sont réessayées, cliquez sur + Ajouter à côté de Nouvelles tentatives.

L’intervalle de nouvelle tentative est calculé en millisecondes entre le début de l’exécution ayant échoué et l’exécution de la nouvelle tentative suivante.

Configurer une heure d'achèvement prévue ou un délai d'expiration pour une tâche

Vous pouvez configurer des seuils de durée facultatifs pour une tâche, notamment une durée d’exécution prévue et maximale. Pour configurer des seuils de durée, cliquez sur Seuil de durée.

Saisissez une durée dans le champ Avertissement pour configurer la durée d’exécution prévue de la tâche. Si la tâche dépasse ce seuil, un événement est déclenché. Vous pouvez utiliser cet événement pour avertir lorsqu'une tâche s'exécute lentement. Voir Configurer les notifications pour les tâches à exécution lente ou en retard.

Pour configurer un délai d'exécution maximum pour une tâche, saisissez la durée maximale dans le champ Délai d'expiration. Si la tâche ne se termine pas dans ce délai, Azure Databricks définit son statut sur « Timed Out ».