Execute seu trabalho do Azure Databricks com computação sem servidor para fluxos de trabalho

A computação sem servidor para fluxos de trabalho permite que você execute seu trabalho do Azure Databricks sem configurar e implantar a infraestrutura. Com a computação sem servidor, você se concentra na implementação de seus pipelines de processamento e análise de dados, e o Azure Databricks gerencia recursos de computação de forma eficiente, incluindo a otimização e o dimensionamento da computação para suas cargas de trabalho. O dimensionamento automático e o Photon são ativados automaticamente para os recursos de computação que executam seu trabalho.

A computação sem servidor para fluxos de trabalho otimiza automática e continuamente a infraestrutura, como tipos de instância, memória e mecanismos de processamento, para garantir o melhor desempenho com base nos requisitos de processamento específicos de suas cargas de trabalho.

O Databricks atualiza automaticamente a versão do Databricks Runtime para dar suporte a aprimoramentos e atualizações para a plataforma, garantindo a estabilidade de seus trabalhos do Azure Databricks. Para ver a versão atual do Databricks Runtime usada pela computação sem servidor para fluxos de trabalho, consulte Notas de versão de computação sem servidor.

Como a permissão de criação de cluster não é necessária, todos os usuários do espaço de trabalho podem usar a computação sem servidor para executar seus fluxos de trabalho.

Este artigo descreve o uso da interface do usuário de Trabalhos do Azure Databricks para criar e executar trabalhos que usam computação sem servidor. Você também pode automatizar a criação e a execução de trabalhos que usam computação sem servidor com a API de Trabalhos, o Databricks Asset Bundles e o SDK do Databricks para Python.

• Para saber mais sobre como usar a API de Trabalhos para criar e executar trabalhos que usam computação sem servidor, consulte Trabalhos na referência da API REST.
• Para saber mais sobre como usar o Databricks Asset Bundles para criar e executar trabalhos que usam computação sem servidor, consulte Desenvolver um trabalho no Azure Databricks usando Databricks Asset Bundles.
• Para saber mais sobre como usar o Databricks SDK for Python para criar e executar trabalhos que usam computação sem servidor, consulte Databricks SDK for Python.

Requisitos

• Seu espaço de trabalho do Azure Databricks deve ter o Unity Catalog habilitado.

• Como a computação sem servidor para fluxos de trabalho usa o modo de acesso compartilhado, suas cargas de trabalho devem oferecer suporte a esse modo de acesso.

• Seu espaço de trabalho do Azure Databricks deve estar em uma região com suporte. Veja Funcionalidades com disponibilidade regional limitada.

• Sua conta do Azure Databricks deve ter a computação sem servidor habilitada. Consulte Ativar computação sem servidor.

Criar um trabalho usando computação sem servidor

A computação sem servidor é suportada com os tipos de tarefas notebook, script Python, dbt e roda Python. Por padrão, a computação sem servidor é selecionada como o tipo de computação quando você cria um novo trabalho e adiciona um desses tipos de tarefas suportados.

O Databricks recomenda o uso de computação sem servidor para todas as tarefas de trabalho. Você também pode especificar diferentes tipos de computação para tarefas em um trabalho, o que pode ser necessário se um tipo de tarefa não for suportado pela computação sem servidor para fluxos de trabalho.

Configurar um trabalho existente para usar computação sem servidor

Você pode alternar um trabalho existente para usar computação sem servidor para tipos de tarefas suportados ao editar o trabalho. Para alternar para computação sem servidor:

• No Detalhes do trabalho painel lateral, clique em de troca em de computação , clique em Novo, insira ou update quaisquer configurações e clique em Update.
• Clique sobre no menu suspenso Compute e selecto Serverless.

Agendar um bloco de anotações usando computação sem servidor

Além de usar a interface do usuário Jobs para criar e agendar um trabalho usando computação sem servidor, você pode criar e executar um trabalho que usa computação sem servidor diretamente de um bloco de anotações Databricks. Consulte Criar e gerenciar trabalhos agendados de blocos de anotações.

Select uma política de orçamento para o uso sem servidor

As políticas de orçamento permitem que sua organização aplique tags personalizadas no uso sem servidor para atribuição de faturamento granular.

Se o espaço de trabalho usar políticas de orçamento para atribuir o uso sem servidor, você poderá a política de orçamento do trabalho usando a configuração política de orçamento na interface do usuário de detalhes do trabalho. Se você for atribuído a apenas uma política de orçamento, a política será selecionada automaticamente para seus novos trabalhos.

Para obter mais informações sobre políticas de orçamento, consulte Atribuir uso sem servidor com políticas de orçamento.

Set configuração do Spark parameters

Para automatizar a configuração do Spark na computação sem servidor, o Databricks permite definir apenas parametersde configuração específica do Spark. Para a list dos parameterspermitidos, consulte a configuração do Spark suportada em parameters.

Você pode setparameters de configuração do Spark somente no nível da sessão. Para fazer isso, set-os num caderno e adicione o caderno a uma tarefa dentro do mesmo trabalho que usa o parameters. Consulte as propriedades de configuração Get e set do Apache Spark num caderno.

Configurar ambientes e dependências

Para saber como instalar bibliotecas e dependências usando computação sem servidor, consulte Instalar dependências de bloco de anotações.

Configurar a otimização automática de computação sem servidor para não permitir novas tentativas

A otimização automática da computação sem servidor para fluxos de trabalho otimiza automaticamente a computação usada para executar seus trabalhos e tenta novamente tarefas com falha. A otimização automática é habilitada por padrão, e o Databricks recomenda deixá-la habilitada para garantir que cargas de trabalho críticas sejam executadas com êxito pelo menos uma vez. No entanto, se você tiver cargas de trabalho que devem ser executadas no máximo uma vez, por exemplo, trabalhos que não são idempotentes, você pode desativar a otimização automática ao adicionar ou editar uma tarefa:

1. Ao lado de Tentativas, clique em Adicionar (ou se já existir uma política de novas tentativas).
2. Na caixa de diálogo Política de Repetição, desmarque Ativar otimização automática sem servidor (pode incluir tentativas adicionais).
3. Clique em Confirmar.
4. Se estiver a adicionar uma tarefa, clique em Criar tarefa. Se estiver editando uma tarefa, clique em Salvar tarefa.

Monitorar o custo de trabalhos que usam computação sem servidor para fluxos de trabalho

Você pode monitorar o custo de trabalhos que usam computação sem servidor para fluxos de trabalho consultando o sistema de uso faturável table. Esse table é atualizado para incluir atributos de usuário e carga de trabalho sobre custos sem servidor. Consulte Sistema de uso faturável table referência.

Para obter informações sobre preços atuais e quaisquer promoções, consulte a página Preços de fluxos de trabalho.

Exibir detalhes de consulta para execuções de trabalho

Você pode exibir informações detalhadas de tempo de execução para suas instruções do Spark, como métricas e planos de consulta.

Para acessar os detalhes da consulta a partir da interface do usuário de trabalhos, use as seguintes etapas:

1. Clique em Fluxos de trabalho na barra lateral.

2. Clique no nome do trabalho que você deseja exibir.

3. Clique na execução específica que você deseja exibir.

4. Clique em Linha do tempo para exibir a execução como uma linha do tempo, dividida em tarefas individuais.

5. Clique na seta ao lado do nome da tarefa para mostrar instruções de consulta e seus tempos de execução.

   

6. Clique em uma instrução para abrir o painel de detalhes da consulta. Consulte Exibir detalhes da consulta para saber mais sobre as informações disponíveis neste painel.

Para exibir o histórico de consultas de uma tarefa:

1. Na seção Computação do painel lateral Execução de tarefas, clique em Histórico de consultas.
2. Você será redirecionado para o Histórico de Consultas, pré-filtrado com base na ID de execução da tarefa em que você estava.

Para obter informações sobre como usar o histórico de consultas, consulte Histórico de consultas do Access para pipelines do Delta Live Tables e Histórico de consultas.

Limitações

Para obter uma list das limitações de computação sem servidor para fluxos de trabalho, consulte Limitações de computação sem servidor nas notas de versão de computação sem servidor.