Interoperabilidade do formato de tabela Delta Lake
No Microsoft Fabric, o formato de tabela Delta Lake é o padrão para análises. O Delta Lake é uma camada de armazenamento de código aberto que traz transações ACID (Atomicidade, Consistência, Isolamento, Durabilidade) para cargas de trabalho de big data e análise.
Todas as experiências do Fabric geram e consomem tabelas Delta Lake, impulsionando a interoperabilidade e uma experiência unificada do produto. As tabelas Delta Lake produzidas por um mecanismo de computação, como o Fabric Data Warehouse ou o Synapse Spark, podem ser consumidas por qualquer outro mecanismo, como o Power BI. Quando você ingere dados no Fabric, o Fabric os armazena como tabelas Delta por padrão. Você pode integrar facilmente dados externos contendo tabelas Delta Lake usando atalhos do OneLake.
Recursos do Delta Lake e experiências do Fabric
Para alcançar a interoperabilidade, todas as experiências de malha se alinham aos recursos Delta Lake e aos recursos de malha. Algumas experiências só podem escrever para tabelas Delta Lake, enquanto outras podem ler a partir dele.
- Gravadores: armazéns de dados, fluxos de eventos e modelos semânticos do Power BI exportados para o OneLake
- Leitores: ponto de extremidade de análise SQL e modelos semânticos de lago direto do Power BI
- Gravadores e leitores: tempo de execução do Fabric Spark, fluxos de dados, pipelines de dados e bancos de dados KQL (Kusto Query Language)
A matriz a seguir mostra os principais recursos do Delta Lake e seu suporte em cada recurso de malha.
| Capacidade de malha | Mapeamentos de coluna baseados em nome | Vetores de exclusão | Escrita de ordem V | Otimização e manutenção de tabelas | Escrever partições | Ler partições | Agrupamento de líquidos | TIMESTAMP_NTZ | Versão do leitor/gravador delta e recursos de tabela padrão |
|---|---|---|---|---|---|---|---|---|---|
| Exportação de armazém de dados Delta Lake | Não | Sim | Sim | Sim | No | Sim | No | Não | Leitor: 3 Escritor: 7 Vetores de exclusão |
| Ponto de extremidade de análise SQL | Sim | Sim | N/A (não aplicável) | N/A (não aplicável) | N/A (não aplicável) | Sim | Sim | No | N/A (não aplicável) |
| Tempo de execução do Fabric Spark 1.3 | Sim | Sim | Sim | Sim | Sim | Sim | Sim | Sim | Leitor: 1 Escritor: 2 |
| Tempo de execução do Fabric Spark 1.2 | Sim | Sim | Sim | Sim | Sim | Sim | Sim, somente leitura | Sim | Leitor: 1 Escritor: 2 |
| Tempo de execução do Fabric Spark 1.1 | Sim | No | Sim | Sim | Sim | Sim | Sim, somente leitura | Não | Leitor: 1 Escritor: 2 |
| Fluxos de Dados | Sim | Sim | Sim | No | Sim | Sim | Sim, somente leitura | Não | Leitor: 1 Escritor: 2 |
| Pipelines de dados | No | No | Sim | No | Sim, substituir apenas | Sim | Sim, somente leitura | Não | Leitor: 1 Escritor: 2 |
| Modelos semânticos de lago direto do Power BI | Sim | Sim | N/A (não aplicável) | N/A (não aplicável) | N/A (não aplicável) | Sim | Sim | No | N/A (não aplicável) |
| Exportar modelos semânticos do Power BI para o OneLake | Sim | N/A (não aplicável) | Sim | No | Sim | N/A (não aplicável) | No | Não | Leitor: 2 Escritor: 5 |
| Bases de dados KQL | Sim | Sim | No | Não* | Sim | Sim | No | Não | Leitor: 1 Escritor: 1 |
| Fluxos de eventos | No | No | No | No | Sim | N/A (não aplicável) | No | Não | Leitor: 1 Escritor: 2 |
* Os bancos de dados KQL fornecem determinados recursos de manutenção de tabelas, como retenção. Os dados são removidos no final do período de retenção da OneLake. Para obter mais informações, consulte Uma cópia lógica.
Nota
- A malha não escreve mapeamentos de coluna baseados em nome por padrão. A experiência padrão do Fabric gera tabelas que são compatíveis com todo o serviço. Delta lake, produzido por serviços de terceiros, pode ter recursos de tabela incompatíveis.
- Algumas experiências de malha não têm recursos herdados de otimização e manutenção de tabelas, como compactação de bin, ordem V e limpeza de arquivos antigos não referenciados. Para manter as tabelas Delta Lake ideais para análises, siga as técnicas em Usar recurso de manutenção de tabela para gerenciar tabelas delta no Fabric para tabelas ingeridas usando essas experiências.
Limitações atuais
Atualmente, o Fabric não oferece suporte a esses recursos do Delta Lake:
- Delta Lake 3.x Uniforme
- Escrita de colunas de identidade (recurso proprietário Databricks)
- Delta Live Tables (recurso proprietário Databricks)
- RLE (Run Length Encoding) ativado no arquivo de ponto de verificação
Conteúdos relacionados
- O que é o Delta Lake?
- Saiba mais sobre as mesas Delta Lake em Fabric Lakehouse e Synapse Spark.
- Saiba mais sobre o Direct Lake no Power BI e no Microsoft Fabric.
- Saiba mais sobre como consultar tabelas do Armazém por meio de seus logs Delta Lake publicados.