LakeFlow Connect

Este artigo fornece uma visão geral do Databricks LakeFlow Connect, que oferece conectores internos para ingerir dados de aplicativos e bancos de dados empresariais.

O que é LakeFlow Connect?

O Databricks LakeFlow Connect oferece conectores internos para ingestão de aplicativos e bancos de dados empresariais. O pipeline de ingestão resultante é regido pelo Catálogo do Unity e é alimentado por computação sem servidor e por Tabelas Dinâmicas Delta.

O LakeFlow Connect aproveita leituras e gravações incrementais eficientes para tornar a ingestão de dados mais rápida, dimensionável e econômica, enquanto seus dados permanecem atualizados para consumo downstream.

Componentes do conector de SaaS

Um conector de SaaS é modelado pelos seguintes componentes:

• Conexão: um objeto do Catálogo do Unity passível de proteção que armazena detalhes de autenticação para o banco de dados.
• Pipeline de ingestão: ingere os dados preparados em tabelas Delta. Esse componente é modelado como um pipeline DLT sem servidor.

Componentes do conector de banco de dados

Um conector de banco de dados é modelado pelos seguintes componentes:

• Conexão: um objeto do Catálogo do Unity passível de proteção que armazena detalhes de autenticação para o banco de dados.
• Gateway: extrai dados do banco de dados de origem e mantém a integridade das transações durante a transferência. Para bancos de dados baseados em nuvem, o gateway é configurado como um pipeline DLT com computação clássica.
• Armazenamento de preparo: um volume do Catálogo do Unity em que os dados do gateway são preparados antes de serem aplicados a uma tabela Delta. A conta de armazenamento de preparo é criada quando você implanta o gateway e existe no catálogo e no esquema especificados.
• Pipeline de ingestão: ingere os dados preparados em tabelas Delta. Esse componente é modelado como um pipeline DLT sem servidor.

LakeFlow Connect versus Federação do Lakehouse versus Compartilhamento Delta

A Federação do Lakehouse permite que você consulte fontes de dados externas sem mover seus dados. O Compartilhamento Delta permite que você compartilhe dados dinâmicos com segurança entre plataformas, nuvens e regiões. O Databricks recomenda a ingestão usando o LakeFlow Connect porque o recurso pode ser ampliado para acomodar grandes volumes de dados, consultas de baixa latência e limites de API de terceiros. No entanto, talvez você queira consultar seus dados sem migrá-los.

Quando você puder optar entre o LakeFlow Connect, a Federação do Lakehouse e o Compartilhamento Delta, escolha o Compartilhamento Delta para os seguintes cenários:

• Limitar a duplicação de dados.
• Consultar os dados mais recentes possíveis.

Escolha a Federação do Lakehouse para os seguintes cenários:

• O relatório ad hoc ou a prova de conceito funcionam nos seus pipelines de ETL.

LakeFlow Connect versus Carregador Automático

O LakeFlow Connect fornece conectores integrados, que lhe permitem ingerir incrementalmente os dados de bancos de dados e aplicativos corporativos. O Carregador Automático é um conector para armazenamento de objetos de nuvem que permite ingerir arquivos incrementalmente à medida que chegam ao S3, ADLS e GCS. É compatível com Streaming Estruturado e Delta Live Tables, mas não se integra ao LakeFlow Connect.

O LakeFlow Connect pode fazer write-back em aplicativos e bancos de dados de terceiros?

Não. Se você tiver interesse nessa funcionalidade, entre em contato com sua equipe de conta.

Qual é o custo do LakeFlow Connect?

Por enquanto, os clientes são cobrados apenas pelo uso de Tabelas Dinâmicas Delta sem servidor necessárias para carregar dados da origem (se estiver se conectando a um aplicativo empresarial, como o Salesforce) ou do volume de preparo (se estiver se conectando a um banco de dados, como o SQL Server). O modelo de preço final do Lakeflow Connect poderá incluir cobranças adicionais e será anunciado no futuro.

Veja os preços das Tabelas Dinâmicas Delta sem servidor em nossa página de preços.