Navegue pelos aplicativos Apache Spark no hub de monitoramento do Fabric
O Hub de monitoramento serve como um portal centralizado para navegar pelas atividades do Spark entre itens. Quando você estiver em Engenharia de Dados ou em Ciência de Dados, poderá exibir aplicativos Apache Spark em andamento disparados de notebooks, definições de trabalho do Apache Spark e pipelines. Você também pode pesquisar e filtrar aplicativos Apache Spark com base em critérios diferentes. Além disso, você pode cancelar seus aplicativos Apache Spark em andamento e fazer drill down para exibir mais detalhes de execução de um aplicativo Apache Spark.
Acessar o hub de monitoramento
Você pode acessar o Hub de monitoramento para exibir várias atividades do Apache Spark selecionando Hub de monitoramento nos links de navegação do lado esquerdo.
Classificar, pesquisar e filtrar opções de coluna nos aplicativos Apache Spark
Para melhorar a usabilidade e a capacidade de descoberta, você pode classificar os aplicativos Apache Spark selecionando diferentes colunas na interface do usuário. Você também pode filtrar os aplicativos com base em colunas diferentes e pesquisar aplicativos específicos. Você também pode ajustar a exibição e classificar a ordem das colunas de maneira independente por meio das opções de coluna.
Classificar aplicativos Apache Spark
Para classificar aplicativos Apache Spark, você pode selecionar em cada cabeçalho de coluna, como Nome, Status, Tipo de item, Hora de início, Local e assim por diante.
Filtrar aplicativos Apache Spark
Você pode filtrar aplicativos Apache Spark por Status, Tipo de Item, Hora de Início, Remetente e Local usando o painel Filtro no canto superior direito.
Pesquisar aplicativos Apache Spark
Para pesquisar aplicativos Apache Spark específicos, você pode inserir determinadas palavras-chave na caixa de pesquisa localizada no canto superior direito.
Opções de coluna dos aplicativos Apache Spark
Você pode alterar a ordem na qual as listas são exibidas selecionando a lista que deseja exibir e arrastando as opções de lista.
Habilitar a exibição upstream para pipelines relacionados
Se você tiver agendado definições de trabalho de Notebook e Spark para execução em pipelines, poderá exibir as atividades do Spark desses blocos de anotações e as definições de trabalho do Spark no hub de monitoramento. Além disso, você poderá ver o pipeline pai correspondente e todas as suas atividades no hub de monitoramento.
- Selecione a opção de coluna Execução upstream.
- Exiba a execução do pipeline pai relacionado na coluna Execução upstream e clique na execução de pipeline para exibir todas as suas atividades.
Gerenciar um aplicativo Apache Spark
Ao passar o mouse sobre um aplicativo Apache Spark, você pode ver várias ações em nível de linha que permitem gerenciar um aplicativo Apache Spark específico.
Exibir o painel de detalhes do aplicativo Apache Spark
Você pode passar o mouse sobre um aplicativo Apache Spark e clicar no ícone Exibir detalhes para abrir o painel Detalhes e exibir mais detalhes sobre um aplicativo Apache Spark.
Cancelar um aplicativo Apache Spark
Se você precisar cancelar um aplicativo Apache Spark em andamento, passe o mouse sobre sua linha e clique no ícone Cancelar.
Navegue até a exibição de detalhes do aplicativo Apache Spark
Se você precisar de mais informações sobre estatísticas de execução do Apache Spark, acessar logs do Apache Spark ou verificar dados de entrada e saída, poderá clicar no nome de um aplicativo Apache Spark para navegar até a página de detalhes do aplicativo Apache Spark correspondente.