Problème connu - Le hub de surveillance affiche une durée incorrecte en file d’attente
Les travaux Spark sont mis en file d’attente lorsque l’utilisation de la capacité atteint sa limite de calcul maximale sur Spark. Une fois la limite atteinte, les travaux sont ajoutés à la file d’attente. Les travaux sont ensuite traités lorsque les cœurs deviennent disponibles dans la capacité. Cette fonctionnalité de mise en file d’attente est activée pour tous les travaux en arrière-plan sur Spark, y compris les notebooks Spark déclenchés à partir du planificateur de travaux, des pipelines et des définitions de travaux Spark. La durée pendant laquelle le travail attend dans la file d’attente n’est pas correctement représentée dans le hub de surveillance comme durée mise en file d’attente.
Statut : Ouvert
Expérience produit : Ingénieurs de données
Symptômes
La durée totale du travail affiché dans le hub de surveillance inclut actuellement uniquement le temps d’exécution du travail. La durée totale ne reflète pas correctement la durée pendant laquelle le travail a attendu dans la file d’attente.
Solutions et méthodes de contournement
Lorsque le travail est en file d’attente, l’état est affiché comme Non démarré dans la vue de surveillance. Une fois le travail démarré, l’état est mis à jour en cours dans la vue de surveillance. Utilisez l’indicateur d’état du travail pour savoir quand le travail est mis en file d’attente et quand son exécution est en cours.