Partilhar via

Executar trabalhos continuamente

  • Artigo

Use o modo contínuo para agendar cargas de trabalho para execução contínua. O Databricks recomenda o uso do modo contínuo para cargas de trabalho de streaming sempre ativas.

O modo contínuo substitui as recomendações herdadas para cargas de trabalho de Streaming Estruturado para configurar trabalhos com uma política de repetição ilimitada e um máximo de uma execução simultânea.

Importante

A computação sem servidor para trabalhos não suporta o modo contínuo.

Configurar o trabalho para ser executado no modo contínuo

Para configurar um trabalho para ser executado no modo contínuo, faça o seguinte:

  1. Na barra lateral, clique em Fluxos de trabalho.
  2. Clique no nome da tarefa na Nomecolumn na aba Trabalhos.
  3. Clique Adicionar de gatilho no painel Detalhes do trabalho, contínuo em tipo Gatilhoe clique em Salvar.

Para interromper um trabalho contínuo, clique no botão Pausar . Clique em Retomar para reiniciar o trabalho no modo contínuo.

Nota

  • Pode haver apenas uma instância em execução de um trabalho contínuo.
  • Existe um atraso entre o término de uma corrida e o início de uma nova corrida. Este atraso deve ser inferior a 60 segundos.
  • Não é possível usar dependências de tarefas com um trabalho contínuo.
  • Não é possível usar políticas de repetição com um trabalho contínuo. Em vez disso, os trabalhos contínuos usam backoff exponencial para gerenciar falhas de execução de trabalho.
  • Select Corra agora para acionar uma nova execução de uma tarefa em um trabalho contínuo em pausa.
  • Para que seu trabalho contínuo pegue uma nova configuração, cancele a execução existente. Uma nova execução é iniciada automaticamente. Você também pode clicar em Reiniciar execução para reiniciar a execução do trabalho com a configuração atualizada.

Como são tratadas as falhas em trabalhos contínuos?

O Azure Databricks usa um esquema de backoff exponencial para gerenciar trabalhos contínuos com várias falhas consecutivas. O backoff exponencial permite que trabalhos contínuos sejam executados sem pausa e retornem a um estado íntegro quando ocorrerem falhas recuperáveis.

Quando um trabalho contínuo excede o limite permitido para falhas consecutivas, o seguinte descreve como as execuções de trabalho subsequentes são gerenciadas:

  1. O trabalho é reiniciado após um período de tentativa set pelo sistema.
  2. Se a próxima execução do trabalho falhar, o período de repetição será aumentado e o trabalho será reiniciado após esse novo período de repetição.
    1. Para cada falha de execução de trabalho subsequente, o período de repetição é aumentado até um período máximo de repetição set pelo sistema. Depois de atingir o período máximo de repetição, o trabalho continua a ser repetido usando o período máximo de repetição. Não há limit sobre o número de novas tentativas para um trabalho contínuo.
    2. Se a execução do trabalho for concluída com êxito e iniciar uma nova execução, ou se a execução exceder um limite sem falha, o trabalho será considerado íntegro e a sequência de backoff será redefinida.

Você pode reiniciar um trabalho contínuo no estado de backoff exponencial na interface do usuário Jobs ou passando a ID do trabalho para a solicitação POST /api/2.1/jobs/run-now na API Jobs 2.1 ou a solicitação POST /api/2.0/jobs/run-now na API Jobs 2.0.