Visão geral do monitoramento do Apache Spark
O monitoramento do Microsoft Fabric Spark foi projetado para oferecer uma experiência baseada na interface do usuário da Web com recursos avançados integrados para monitorar o progresso e o status dos aplicativos Spark em andamento, navegar por atividades anteriores do Spark, analisar e otimizar o desempenho e facilitar a solução de problemas de falhas. Vários pontos de entrada estão disponíveis para navegação, monitoramento e visualização de detalhes do aplicativo Spark.
Hub de monitoramento
O Monitor Hub funciona como um portal centralizado para explorar as atividades do Spark relativas aos itens. De relance, você pode visualizar aplicativos Spark em andamento acionados a partir de Notebooks, Definições de Trabalho do Spark e Pipelines. Você também pode pesquisar e filtrar aplicativos Spark com base em diferentes critérios e fazer drill down para ver mais detalhes de execução do Spark de um aplicativo Spark. No portal Fabric, selecione Monitor no painel de navegação para abrir o hub Monitor.
Execuções recentes de itens
Ao trabalhar em itens específicos, o recurso Execuções recentes do item permite que você navegue pelas atividades atuais e recentes do item e obtenha informações sobre o remetente, status, duração e outras informações para atividades enviadas por você ou por outras pessoas.
Monitorização contextual do bloco de notas
O Monitoramento Contextual de Notebook oferece a capacidade de criar, monitorar e depurar trabalhos do Spark em um único local. Você pode monitorar o progresso do trabalho do Spark, exibir tarefas de execução e executores do Spark e acessar os logs do Spark em um Bloco de Anotações no nível da célula do Bloco de Anotações. O Spark advisor também está integrado no Notebook para oferecer conselhos em tempo real sobre a execução do código e da célula do Spark e realizar análises de erros.
Monitoramento em linha de definição de trabalho de faísca
O recurso Monitoramento Inline de definição de trabalho do Spark permite que você visualize o envio e o status de execução da definição de trabalho do Spark em tempo real, bem como as execuções e configurações anteriores da definição de trabalho do Spark. Você pode navegar até a página de detalhes do aplicativo Spark para ver mais detalhes.
Monitoramento em linha da atividade Pipeline Spark
Para o Pipeline Spark Activity Inline Monitoring, links profundos foram incorporados às atividades de definição de tarefas do Notebook e do Spark dentro do Pipeline. Você pode visualizar os detalhes de execução do aplicativo Spark, o respetivo instantâneo de definição de trabalho do Notebook e do Spark e acessar os logs do Spark para solução de problemas. Se as atividades do Spark falharem, a mensagem de erro embutida também estará disponível nas atividades do Pipeline Spark.
Conteúdos relacionados
- Apache Spark advisor para aconselhamento em tempo real sobre notebooks
- Navegue pelos aplicativos Apache Spark no hub de monitoramento do Fabric
- Procurar execuções recentes do item
- Monitorar trabalhos do Spark em um bloco de anotações
- Monitore sua definição de trabalho do Apache Spark
- Monitoramento de detalhes do aplicativo Apache Spark
- Use o servidor de histórico estendido do Apache Spark para depurar e diagnosticar aplicativos Apache Spark
- Monitorar o consumo de capacidade do Spark