Fila de trabalhos no Apache Spark for Microsoft Fabric
Aplica-se a:✅ Engenharia de Dados e Ciência de Dados no Microsoft Fabric
O Microsoft Fabric oferece suporte ao enfileiramento de trabalhos em segundo plano quando você atinge os limites de computação do Spark para sua capacidade de malha. O sistema de fila de tarefas oferece repetições automáticas para trabalhos que são adicionados à fila até atingirem a expiração da fila. Quando os usuários criam uma capacidade do Microsoft Fabric no Azure, eles escolhem um tamanho de capacidade com base no tamanho de sua carga de trabalho de análise. Depois de comprar a capacidade, os administradores podem criar espaços de trabalho dentro da capacidade no Microsoft Fabric. Os trabalhos do Spark executados nesses espaços de trabalho podem usar até o máximo de núcleos alocados para uma determinada capacidade e, uma vez atingido o limite máximo, os trabalhos são limitados ou enfileirados.
Saiba mais sobre os limites de simultaneidade do Spark no Microsoft Fabric
A fila de trabalhos é suportada para trabalhos do Bloco de Anotações acionados por pipelines ou por meio do agendador, bem como para definições de trabalho do Spark. Não há suporte para enfileiramento para trabalhos de bloco de anotações interativos e trabalhos de bloco de anotações acionados por meio da API pública do bloco de anotações.
A fila opera de maneira FIFO (First-In-First-Out), onde os trabalhos são adicionados à fila com base no tempo de seu envio e são constantemente repetidos e começam a ser executados quando a capacidade é liberada.
Nota
Não há suporte para o enfileiramento de trabalhos do Spark quando a capacidade do Fabric está em seu estado limitado. Todos os novos trabalhos submetidos serão rejeitados.
Depois que um trabalho é adicionado à fila, seu status é atualizado para Não iniciado no hub de monitoramento. Blocos de anotações e definições de trabalho do Spark quando são escolhidos na fila e começam a executar, seu status é atualizado de Não iniciado para Em andamento.
Nota
A expiração da fila é de 24 horas para todos os trabalhos a partir do momento em que foram admitidos na fila. Uma vez atingido o tempo de expiração, os trabalhos precisarão ser reenviados.
Tamanhos das filas
O Fabric Spark impõe tamanhos de fila com base no tamanho da SKU de capacidade anexada a um espaço de trabalho, fornecendo um mecanismo de limitação e enfileiramento onde os usuários podem enviar trabalhos com base nas SKUs de capacidade de malha adquiridas.
A seção a seguir lista vários tamanhos de fila para cargas de trabalho do Spark com base no Microsoft Fabric com base nas SKUs de capacidade:
| Capacidade de malha SKU | SKU equivalente do Power BI | Limite de fila |
|---|---|---|
| F2 | - | 4 |
| F4 | - | 4 |
| F8 | - | 8 |
| F16 | - | 16 |
| F32 | - | 32 |
| F64 | P1 | 64 |
| F128 | P2 | 128 |
| F256 | P3 | 256 |
| F512 | P4 | 512 |
| F1024 | - | 1024 |
| F2048 | - | 2048 |
| Capacidade de avaliação | P1 | ND |
Nota
Não há suporte para filas para capacidades de avaliação do Fabric. Os usuários teriam que mudar para um Fabric F ou P SKU pago para usar a fila para trabalhos do Spark.
Depois que o limite máximo de fila for atingido para uma capacidade de malha, os novos trabalhos enviados serão limitados com uma mensagem de erro [TooManyRequestsForCapacity] Esse trabalho de faísca não pode ser executado porque você atingiu um limite de taxa de API ou computação de faísca. Para executar esse trabalho de faísca, cancele um trabalho ativo do Spark por meio do hub de monitoramento, escolha uma SKU de capacidade maior ou tente novamente mais tarde. Código de status HTTP: 430 {Saiba mais} Código de status HTTP: 430.
Conteúdos relacionados
- Saiba mais sobre o Faturamento e a utilização do Spark no Microsoft Fabric.
- Saiba mais sobre a computação Spark para experiências de engenharia de dados e ciência de dados do Fabric .