O que é a API Livy para Engenharia de Dados?
Nota
A API Livy para engenharia de dados de malha está em visualização.
Aplica-se a:✅ Engenharia de Dados e Ciência de Dados no Microsoft Fabric
A API do Microsoft Fabric Livy permite que os usuários enviem e executem o código do Spark na computação do Spark associada a um Fabric Lakehouse, eliminando a necessidade de criar qualquer artefato de definição de trabalho do Notebook ou do Spark. Essa integração com o Lakehouse garante acesso direto aos dados armazenados no OneLake.
Funcionalidades
A API do Fabric Livy permite enviar trabalhos em dois modos diferentes:
- Trabalhos de sessão
- Um trabalho de sessão do Livy envolve o estabelecimento de uma sessão do Spark que permanece ativa durante toda a interação com a API do Livy. As Livy Sessions são úteis para cargas de trabalho interativas.
- Uma sessão do Spark começa quando um trabalho é enviado e dura até que o usuário o termine ou o sistema o encerre após 20 minutos de inatividade. Ao longo da sessão, vários trabalhos podem ser executados, compartilhando dados de estado e armazenados em cache entre as execuções.
- Trabalhos em lote
- Um trabalho em lote Livy envolve o envio de um aplicativo Spark para uma única execução de trabalho. Ao contrário de um trabalho de sessão do Livy, um trabalho em lote não sustenta uma sessão do Spark em andamento.
- Com os trabalhos em lote do Livy, cada trabalho inicia uma nova sessão do Spark que termina quando o trabalho termina. Essa abordagem funciona bem para tarefas que não dependem de cálculos anteriores ou exigem a manutenção do estado entre os trabalhos.
Introdução à API Livy
Saiba como criar e executar trabalhos do Spark usando a API do Livy no Fabric escolhendo um trabalho de sessão do Submit Spark usando a API do Livy ou um trabalho em lote do Submit Spark usando a API do Livy.