Interoperabilidade de formato de tabela do Delta Lake
No Microsoft Fabric, o formato de tabela Delta Lake é o padrão para análise. O Delta Lake é uma camada de armazenamento open-source que traz transações ACID (atomicidade, consistência, isolamento e durabilidade) para cargas de trabalho de Big Data e de análise.
Todas as experiências no Fabric geram e consomem tabelas Delta Lake, promovendo a interoperabilidade e uma experiência de produto unificada. As tabelas Delta Lake produzidas por um mecanismo de computação, como o Data Warehouse ou o Synapse Spark do Fabric, podem ser consumidas por qualquer outro mecanismo, como o Power BI. Quando você ingere dados no Fabric, o Fabric os armazena como tabelas Delta por padrão. Você pode integrar facilmente dados externos que contenham tabelas Delta Lake usando os atalhos do OneLake.
Recursos do Delta Lake e experiências do Fabric
Para alcançar interoperabilidade, todas as experiências do Fabric se alinham aos recursos do Delta Lake e às funcionalidades do Fabric. Algumas experiências só podem gravar em tabelas Delta Lake, enquanto outras podem ler dela.
- Gravadores: data warehouses, fluxos de eventos e modelos semânticos do Power BI exportados para o OneLake
- Leitores: ponto de extremidade de análise SQL e modelos semânticos diretos do lake do Power BI
- Gravadores e Leitores: runtime do Fabric Spark, fluxos de dados, pipelines de dados e bancos de dados da Linguagem de Consulta Kusto (KQL)
A matriz a seguir mostra os principais recursos do Delta Lake e seu suporte em cada funcionalidade do Fabric.
| Funcionalidade do Fabric | Mapeamentos de coluna baseados em nome | Vetores de exclusão | Gravador de V-Order | Manutenção e otimização de tabelas | Gravar partições | Ler partições | Clustering líquido | TIMESTAMP_NTZ | Versão do leitor/gravador delta e recursos de tabela padrão |
|---|---|---|---|---|---|---|---|---|---|
| Exportação do Delta Lake do Data Warehouse | Não | Sim | Sim | Sim | Não | Sim | Não | No | Leitor: 3 Gravador: 7 Vetores de exclusão |
| Ponto de extremidade de análise do SQL | Sim | Yes | N/A (não aplicável) | N/A (não aplicável) | N/A (não aplicável) | Sim | Sim | No | N/A (não aplicável) |
| Runtime 1.3 do Spark no Fabric | Sim | Sim | Sim | Sim | Sim | Sim | Sim | Yes | Leitor: 1 Gravador: 2 |
| Runtime 1.2 do Spark no Fabric | Sim | Sim | Sim | Sim | Sim | Sim | Sim, somente leitura | Sim | Leitor: 1 Gravador: 2 |
| Runtime 1.1 do Spark no Fabric | Sim | Não | Sim | Sim | Sim | Sim | Sim, somente leitura | Não | Leitor: 1 Gravador: 2 |
| Fluxos de dados | Sim | Sim | Sim | Não | Sim | Sim | Sim, somente leitura | Não | Leitor: 1 Gravador: 2 |
| Pipelines de dados | Não | No | Sim | Não | Sim, somente substituir | Sim | Sim, somente leitura | Não | Leitor: 1 Gravador: 2 |
| Modelos semânticos direct lake do Power BI | Sim | Yes | N/A (não aplicável) | N/A (não aplicável) | N/A (não aplicável) | Sim | Sim | No | N/A (não aplicável) |
| Exportar modelos semânticos do Power BI para o OneLake | Sim | N/A (não aplicável) | Sim | Não | Sim | N/A (não aplicável) | Não | No | Leitor: 2 Gravador: 5 |
| Bancos de dados KQL | Sim | Sim | Não | Não* | Sim | Sim | Não | No | Leitor: 1 Gravador: 1 |
| Eventstreams | Não | No | No | No | Sim | N/A (não aplicável) | Não | No | Leitor: 1 Gravador: 2 |
* Os bancos de dados KQL fornecem alguns recursos de manutenção de tabelas, como retenção. Os dados são removidos do OneLake no final do período de retenção. Para obter mais informações, confira Uma cópia lógica.
Observação
- Por padrão, o Fabric não grava mapeamentos de coluna baseados em nomes. A experiência padrão do Fabric gera tabelas que são compatíveis em todo o serviço. O Delta lake, produzido por serviços de terceiros, pode ter recursos de tabela incompatíveis.
- Algumas experiências Fabric não têm funcionalidades herdadas de otimização e manutenção de tabelas, como compactação de compartimentos, ordenação em V e limpeza de arquivos antigos não referenciados. Para manter as tabelas Delta Lake ideais para análise, siga as técnicas em Usar o recurso de manutenção de tabela para gerenciar as tabelas Delta no Fabric para tabelas ingeridas usando essas experiências.
Limitações atuais
Atualmente, o Fabric não dá suporte para esses recursos do Delta Lake:
- Delta Lake 3.x Uniform
- Gravação de colunas de identidade (recurso proprietário do Databricks)
- Delta Live Tables (recurso proprietário da Databricks)
- RLE (Codificação de Comprimento de Execução) habilitada no arquivo de ponto de verificação
Conteúdo relacionado
- O que é o Delta Lake?
- Saiba mais sobre tabelas Delta Lake no Fabric Lakehouse e no Synapse Spark.
- Saiba mais sobre Direct Lake no Power BI e no Microsoft Fabric.
- Saiba mais sobre como consultar tabelas do Warehouse por meio dos respectivos logs do Delta Lake publicados.