Problema conhecido – o hub de monitoramento exibe a duração incorreta da fila
Os Trabalhos do Spark são enfileirados quando o uso da capacidade atinge seu limite máximo de computação no Spark. Depois que o limite é atingido, os trabalhos são adicionados à fila. Os trabalhos são processados quando os núcleos ficam disponíveis na capacidade. Essa funcionalidade de fila está habilitada para todos os trabalhos em segundo plano no Spark, incluindo notebooks Spark disparados do agendador de trabalho, pipelines e definições de trabalho do Spark. A duração do tempo que o trabalho está aguardando na fila não é representada corretamente no Hub de Monitoramento como duração enfileirada.
Status: aberto
Experiência do produto: Engenharia de Dados
Sintomas
A duração total do trabalho mostrado no hub de monitoramento atualmente inclui apenas o tempo de execução do trabalho. A duração total não reflete corretamente a duração na qual o trabalho esperou na fila.
Soluções e alternativas
Quando o trabalho está na fila, o status é mostrado como Não Iniciado no modo de exibição de monitoramento. Depois que o trabalho inicia a execução, o status é atualizado para Em Andamento no modo de exibição de monitoramento. Use o indicador de status do trabalho para saber quando o trabalho está na fila e quando sua execução está em andamento.