Problema conhecido - O hub de monitoramento exibe a duração incorreta da fila
Os trabalhos do Spark ficam na fila quando o uso da capacidade atinge seu limite máximo de computação no Spark. Quando o limite é atingido, os trabalhos são adicionados à fila. Os trabalhos são então processados quando os núcleos ficam disponíveis na capacidade. Esse recurso de enfileiramento está habilitado para todos os trabalhos em segundo plano no Spark, incluindo blocos de anotações do Spark acionados a partir do agendador de tarefas, pipelines e definições de trabalho de faísca. A duração do tempo que o trabalho está aguardando na fila não é representada corretamente no hub de monitoramento como duração da fila.
Estado: Aberto
Experiência do produto: Engenharia de dados
Sintomas
A duração total do trabalho mostrado no hub de monitoramento atualmente inclui apenas o tempo de execução do trabalho. A duração total não reflete corretamente a duração em que o trabalho esperou na fila.
Soluções e soluções alternativas
Quando o trabalho está na fila, o status é mostrado como Não Iniciado no modo de exibição de monitoramento. Quando o trabalho inicia a execução, o status é atualizado para Em andamento na visualização de monitoramento. Use o indicador de status do trabalho para saber quando o trabalho está na fila e quando sua execução está em andamento.