Monitorar os trabalhos do Spark em um notebook
O notebook do Microsoft Fabric é uma superfície interativa baseada na Web para desenvolver trabalhos do Apache Spark e realizar experimentos de aprendizado de máquina. Este artigo descreve como monitorar o progresso dos seus trabalhos do Spark, acessar logs do Spark, receber conselhos no notebook e navegar até a exibição de detalhes do aplicativo Spark ou a interface do usuário do Spark para obter informações de monitoramento mais abrangentes para o notebook.
Monitorar o progresso do Trabalho do Spark
Um indicador de progresso do trabalho do Spark é fornecido com uma barra de progresso em tempo real que o ajuda a monitorar o status de execução do trabalho de cada célula do notebook. Você pode exibir o status e o progresso das tarefas nos seus trabalhos e fases do Spark.
Monitorar o uso de recursos
O grafo de uso do executor exibe visualmente a alocação de executores de trabalho do Spark e o uso de recursos. Atualmente, somente as informações de runtime do Spark 3.4 e superior exibirão esse recurso. Clique na guia Recursos, o gráfico de linhas para o uso de recursos da célula de código será exibido.
Exibir as recomendações do Assistente do Spark
Um assistente interno do Spark analisa o código do seu notebook e as execuções do Spark em tempo real para ajudar a otimizar o desempenho em execução do seu notebook e ajudar na depuração de falhas. Há três tipos de conselhos internos: Informações, Aviso e Erro. Os ícones com números indicam a respectiva contagem de conselhos em cada categoria (Informações, Aviso e Erro) gerada pelo assistente do Spark para uma célula específica do notebook.
Para exibir o conselho, clique na seta no início para expandir e revelar os detalhes.
Depois de expandir a seção do assistente, um ou mais conselhos ficam visíveis.
Detecção de Distorção do Assistente do Spark
A distorção de dados é um problema comum que os usuários geralmente encontram. O assistente do Spark dá suporte à detecção de distorção e, se a distorção for detectada, uma análise correspondente será exibida abaixo.
Acessar os logs em Tempo Real do Spark
Os logs do Spark são essenciais para localizar exceções e diagnosticar desempenho ou falhas. O recurso de monitoramento contextual no notebook apresenta os logs diretamente a você na célula específica que você está executando. Você pode pesquisar os logs ou filtrá-los por erros e avisos.
Navegue até os detalhes de monitoramento do Spark e a IU do Spark
Se você quiser acessar informações adicionais sobre a execução do Spark no nível do notebook, é possível navegar até a página de detalhes do aplicativo Spark ou a IU do Spark pelas opções disponíveis no menu de contexto.
