O que é o Compartilhamento Delta?

Este artigo apresenta o Compartilhamento Delta no Azure Databricks, a plataforma segura de compartilhamento de dados que lhe permite compartilhar dados e ativos de IA no Azure Databricks com usuários fora da sua organização, independentemente de esses usuários usarem ou não o Databricks. O Delta Sharing também é a base para o Databricks Marketplace, um fórum aberto para a troca de produtos de dados, e para o Clean Rooms, um ambiente seguro e que protege a privacidade where onde várias partes podem trabalhar juntas em dados corporativos confidenciais.

O Delta Sharing também está disponível como um projeto de código aberto que você pode usar para compartilhar tables Delta de outras plataformas.

Como funciona o Compartilhamento Delta?

O Compartilhamento Delta é um protocolo em aberto desenvolvido pela Databricks para proteger o compartilhamento de dados com outras organizações, independente das plataformas de computação usadas por elas.

Existem três maneiras de compartilhar dados usando o Compartilhamento Delta:

1. O protocolo de compartilhamento Databricks-to-Databricks, que permite compartilhar dados e ativos de IA do seu workspace habilitado para o Unity Catalog com usuários que também têm acesso a um workspace do Databricks habilitado para o Unity Catalog.

   Essa abordagem usa o servidor Delta Sharing, que é integrado ao Azure Databricks. Ele dá suporte a alguns recursos de compartilhamento Delta que não são suportados nos outros protocolos, incluindo compartilhamento de notebook, compartilhamento de volume do Unity Catalog, compartilhamento de modelos de IA do Unity Catalog, governança de dados do Unity Catalog, auditoria e acompanhamento de uso para providers e recipients. A integração com o Unity Catalog simplifica a configuração e a governança para providers e recipients e melhora o desempenho.

   Consulte Compartilhar dados usando o protocolo Databricks-to-Databricks Delta Sharing (para providers).

2. O protocolo de compartilhamento aberto do Databricks, que permite compartilhar dados tabulares gerenciados em um workspace do Databricks habilitado para Unity Catalog com usuários em qualquer plataforma de computação.

   Essa abordagem usa o servidor Delta Sharing que é integrado ao Azure Databricks e é útil quando você gerencia dados usando o Unity Catalog e deseja compartilhá-los com usuários que não usam o Databricks ou não têm acesso a um workspace do Databricks habilitado para o Unity Catalog. A integração com o Unity Catalog no lado do provedor simplifica a configuração e a governança para providers.

   Veja Compartilhar dados usando o protocolo de compartilhamento aberto Delta Sharing (para providers).

3. Uma implementação gerenciada pelo cliente do servidor de compartilhamento Delta de software livre, que permite compartilhar de qualquer plataforma para qualquer plataforma, independentemente do Databricks ou não.

   A documentação do Azure Databricks não aborda instruções para configurar seu próprio servidor de Compartilhamento Delta. Consulte github.com/delta-io/delta-sharing.

Shares, providerse recipients

Os principais conceitos subjacentes ao compartilhamento Delta no Azure Databricks são shares, providerse recipients.

O que é um compartilhamento?

No Delta Sharing, um compartilhamento é uma coleção somente leitura de tables e partições de table que um provedor deseja compartilhar com um ou mais recipients. Se o destinatário usar um workspace do Databricks habilitado para Unity Catalog, você também poderá incluir arquivos de notebook, views (incluindo views dinâmicas que restringem o acesso em nível de linha e column), volumes do Unity Catalog e modelos do Unity Catalog em um compartilhamento.

Você pode adicionar ou remove tables, views, volumes, modelos e arquivos de notebook de um compartilhamento a qualquer momento, e pode atribuir ou revoke o acesso de destinatário aos dados de um compartilhamento a qualquer momento.

Em um workspace do Azure Databricks habilitado para Unity Catalog, um compartilhamento é um objeto protegível registrado no Unity Catalog. Se você remove um compartilhamento do seu metastore do Unity Catalog, todos os recipients desse compartilhamento perderão a capacidade de acessá-lo.

Consulte Criar e gerenciar shares para o Delta Sharing.

O que é um provedor?

Um provedor é uma entidade que shares dados com um destinatário. Se você for um provedor e quiser aproveitar o servidor interno do Databricks Delta Sharing e gerenciar shares e recipients usando o Unity Catalog, precisará de pelo menos um workspace do Azure Databricks habilitado para o Unity Catalog. Você não precisa migrar todos os workspaces existentes para o Unity Catalog. Você pode simplesmente criar um novo workspace habilitado para Unity Catalog para atender às suas necessidades de Delta Sharing.

Se um destinatário estiver em um workspace do Databricks habilitado para Unity Catalog, o provedor também será um objeto protegível do Unity Catalog, que representa a organização do provedor e associa essa organização a um set de shares.

O que é um destinatário?

Um destinatário é uma entidade que recebe shares de um provedor. No Unity Catalog, um compartilhamento é um objeto protegível que representa uma organização e a associa a uma credencial ou a um identifier de compartilhamento seguro, permitindo que essa organização acesse um ou mais shares.

Como um provedor de dados (compartilhador), você pode definir vários recipients para um determinado metastore do Unity Catalog, mas se quiser compartilhar dados de vários metastores com um usuário ou grupo de usuários específico, deve definir o destinatário separadamente para cada metastore. Um destinatário pode ter acesso a vários shares.

Se um provedor excluir um destinatário de sua Catalog metastore do Unity, esse destinatário perderá o acesso a todos os shares que ele poderia acessar anteriormente.

Veja "Criar e gerenciar recipients de dados para o Delta Sharing".

Compartilhamento aberto versus compartilhamento do Databricks para Databricks

Esta seção descreve os dois protocolos para compartilhamento de um workspace do Databricks que está habilitado para o Unity Catalog.

A forma como um provedor utiliza o Compartilhamento Delta no Azure Databricks depende de com quem ele está compartilhando dados:

• O compartilhamento aberto permite compartilhar dados com qualquer usuário, independentemente de ele ter ou não acesso ao Azure Databricks.
• O Compartilhamento Databricks-to-Databricks permite compartilhar dados com usuários do Azure Databricks cujo workspace está anexado a um metastore do Unity Catalog diferente do seu. Databricks-to-Databricks também dá suporte ao compartilhamento de notebook, volume e modelo, que não está disponível no compartilhamento aberto.

O que é o Compartilhamento Delta aberto?

Se você deseja compartilhar dados com usuários fora do workspace do Azure Databricks, independentemente de eles usarem o Databricks, você poder usar o Compartilhamento Delta aberto para compartilhar seus dados com segurança. Como um provedor de dados, você generate um token e o compartilha com segurança com o destinatário. Ele usa o token para autenticar e get acesso de leitura às tables incluídas no shares que você concedeu acesso.

Recipients pode acessar os dados compartilhados usando muitas ferramentas e plataformas de computação, incluindo:

• Azure Databricks
• Apache Spark
• Pandas
• Power BI

Para obter uma list completa de conectores do Delta Sharing e informações sobre como usá-los, consulte a documentação do Delta Sharing.

Consulte também Compartilhar dados usando o protocolo de compartilhamento aberto delta (para providers).

O que é o Compartilhamento Delta do Databricks para o Databricks?

Se você quiser compartilhar dados com usuários que têm um workspace do Databricks habilitado para o Unity Catalog, você poderá usar o Databricks-to-Databricks Delta Sharing. O compartilhamento do Databricks para Databricks permite compartilhar dados com usuários em outras contas do Databricks, independentemente de estarem na AWS, no Azure ou no GCP. É também uma ótima maneira de, em sua própria conta do Databricks, compartilhar dados com segurança em diferentes metastores do Unity Catalog. Observe que não é necessário usar o Compartilhamento Delta para compartilhar dados entre workspaces anexados ao mesmo metastore do Unity Catalog, pois nesse cenário você pode usar o Unity Catalog a si mesmo para gerenciar o acesso aos dados entre workspaces.

Uma vantagem do compartilhamento do Databricks para o Databricks é que o destinatário do compartilhamento não precisa de um token para acessar o compartilhamento e o provedor não precisa gerenciar os tokens do destinatário. A segurança da conexão de compartilhamento, incluindo toda a verificação de identidade, autenticação e auditoria, é gerenciada inteiramente por meio da plataforma do Compartilhamento Delta e do Databricks. Outra vantagem é a capacidade de compartilhar arquivos de notebook do Databricks, views, unity Catalogvolumese modelos do Unity Catalog.

Consulte também Compartilhar dados usando o protocolo Databricks-to-Databricks Delta Sharing (para providers).

Como os administradores de provedor set o Delta Sharing?

Esta seção fornece uma visão geral de como o providers pode habilitar o Compartilhamento Delta e iniciar o compartilhamento a partir de um workspace do Azure Databricks com suporte Unity Catalog. Para o compartilhamento Delta de software livre, consulte github.com/delta-io/delta-sharing.

O compartilhamento Databricks-to-Databricks entre metastores do Unity Catalog na mesma conta está sempre habilitado. Se você for um provedor que deseja habilitar o Compartilhamento Delta para compartilhar dados com workspaces do Azure Databricks em outras contas ou clientes que não sejam do Databricks, um administrador da conta do Azure Databricks ou administrador do metastore executará as seguintes etapas de configuração (em um nível alto):

1. Habilite o Compartilhamento Delta para o metastore do Unity Catalog que gerencia os dados que você deseja compartilhar.

   Observação

   Você não precisa habilitar o Compartilhamento Delta em seu metastore se pretende usar o Compartilhamento Delta para compartilhar dados apenas com usuários em outros Unity Catalogmetastores em sua conta. O compartilhamento de metastore para metastore em uma única conta do Azure Databricks é habilitado por padrão.

   Confira Habilitar o Compartilhamento Delta em um metastore.

2. Crie um compartilhamento que inclua ativos de dados registrados no metastore do Unity Catalog.

   Se você estiver compartilhando com um destinatário não Databricks (conhecido como compartilhamento aberto), poderá incluir tables no formato Delta ou Parquet. Se você planeja usar o compartilhamento Databricks-to-Databricks, também poderá adicionar views, volumes do Unity Catalog, modelos do Unity Catalog e arquivos de notebook a um compartilhamento.

   Consulte Criar e gerenciar shares para o Delta Sharing.

3. Criar um destinatário.

   Veja "Criar e gerenciar recipients de dados para o Delta Sharing".

   Se o destinatário não for um usuário do Databricks ou não tiver acesso a um workspace do Databricks habilitado para o Unity Catalog, você deverá usar o compartilhamento aberto. Um set de credentials baseadas em token é gerado para esse destinatário.

   Se o destinatário tiver acesso a um workspace do Databricks habilitado para o Unity Catalog, você poderá usar o compartilhamento do Databricks-to-Databricks e nenhuma credentials baseada em token será necessária. Você solicita ao destinatário um identifier de compartilhamento e o usa para estabelecer a conexão segura.

   Dica

   Use a si mesmo como um destinatário de teste para experimentar o processo de instalação.

4. Grant o acesso do destinatário a um ou mais shares.

   Consulte Gerenciar acesso aos shares de dados do Delta Sharing (para providers).

   Observação

   Essa etapa também pode ser executada por um usuário não administrador com os privilégios USE SHARE, USE RECIPIENT e SET SHARE PERMISSION . Consulte Privilégios do Unity Catalog e objetos protegíveis.

5. Envie ao destinatário as informações necessárias para se conectar ao compartilhamento (somente compartilhamento aberto).

   Consulte Enviar ao destinatário suas informações de conexão.

   Para o compartilhamento aberto, use um canal seguro para enviar ao destinatário um link de ativação que permita que ele baixe suas credentials baseadas em tokens.

   Para o compartilhamento Databricks-to-Databricks, os dados incluídos no compartilhamento ficam disponíveis no workspace do Databricks do destinatário assim que você grant acesso ao compartilhamento.

O destinatário agora pode acessar os dados compartilhados.

Como recipients acessa os dados compartilhados?

Os Recipients acessam os ativos de dados compartilhados no formato somente leitura. Os arquivos de notebook compartilhados são somente leitura, mas podem ser clonados e depois modificados e executados no workspace do destinatário, assim como qualquer outro notebook.

O acesso seguro depende do modelo de compartilhamento:

• Compartilhamento aberto (o destinatário não tem um workspace do Databricks habilitado para o Unity Catalog): o destinatário fornece a credencial sempre que acessa os dados em sua ferramenta de escolha, incluindo Apache Spark, pandas, Power BI, Databricks e muito mais. Consulte Ler dados compartilhados usando o compartilhamento aberto Delta Sharing (para recipients).
• Databricks-to-Databricks (o workspace do destinatário está habilitado para o Unity Catalog): o destinatário acessa os dados usando o Databricks. Eles podem usar o Unity Catalog para grant e deny acesso a outros usuários em sua conta do Databricks. Consulte Ler dados compartilhados usando o Databricks-to-Databricks Delta Sharing (para recipients).

Sempre que o provedor de dados atualiza dados tables ou volumes em sua própria conta do Databricks, as atualizações aparecem quase em tempo real no sistema do destinatário.

Como você controla quem está compartilhando e acessando dados compartilhados?

Os providers de dados nos workspaces do Azure Databricks habilitados para o Unity Catalog podem usar o registro em log de auditoria do Azure Databricks e as tables do sistema para monitorar a criação e a modificação de shares e recipients, além de monitorar a atividade do destinatário nos shares. Veja Auditar e monitorar o compartilhamento de dados.

Os recipients que utilizam dados compartilhados em um workspace do Databricks podem usar o registro em log de auditoria do Databricks e as tables do sistema para compreender quem está acessando quais dados. Veja Auditar e monitorar o compartilhamento de dados.

Compartilhando volumes

Você pode compartilhar volumes usando o fluxo de compartilhamento Databricks-to-Databricks. Consulte Adicionar volumes a um compartilhamento (para providers) e Ler dados compartilhados usando o Databricks-to-Databricks Delta Sharing (para recipients) (para recipients).

Compartilhamento de modelos

Você pode compartilhar modelos usando o fluxo de compartilhamento Databricks-to-Databricks. Consulte Adicionar modelos a um compartilhamento (para providers) e Ler dados compartilhados usando o Databricks-to-Databricks Delta Sharing (para recipients) (para recipients).

Compartilhar notebooks

Você pode usar o Compartilhamento Delta para compartilhar arquivos de notebook usando o fluxo de compartilhamento do Databricks para Databricks. Consulte Adicionar arquivos de notebook a um compartilhamento (para providers) e Ler notebooks compartilhados (para recipients).

Restringindo o acesso no nível de linha e column

Você pode compartilhar views dinâmicas que restringem o acesso a determinados dados de table com base nas propriedades do destinatário. O compartilhamento de exibição dinâmica requer o fluxo de compartilhamento do Databricks para Databricks. Consulte Adicionar views dinâmicas a um compartilhamento para filtrar linhas e columns.

Compartilhamento Delta e streaming

O Compartilhamento Delta dá suporte ao Streaming Estruturado do Spark. Um provedor pode compartilhar um table com o histórico para que um destinatário possa usá-lo como uma fonte de Streaming Estruturado, processando dados compartilhados incrementalmente com baixa latência. Os Recipients também podem executar consultas de viagem no tempo do Delta Lake em tables compartilhadas com histórico.

Para saber como compartilhar tables com histórico, consulte Adicionar tables a um compartilhamento. Para aprender a usar tables compartilhadas como fontes de streaming, veja Consultar uma table usando o Apache Spark Structured Streaming (para recipients do compartilhamento Databricks-to-Databricks) ou Acessar uma table compartilhada usando o Spark Structured Streaming (para recipients de dados de compartilhamento aberto).

Confira também Streaming no Azure Databricks.

Matriz de suporte de recursos do Delta Lake

O Delta Sharing dá suporte à maioria dos recursos do Delta Lake quando você compartilha uma table. Esta matriz de suporte lista:

• Recursos delta que exigem versões específicas do Databricks Runtime, o conector do Spark de compartilhamento Delta de código aberto ou o conector Python de compartilhamento Delta de código aberto.
• Recursos com suporte parcial.

Perguntas frequentes sobre o Compartilhamento Delta

A seguir estão as perguntas frequentes sobre o Compartilhamento Delta

Preciso de Catalog do Unity para usar o Compartilhamento Delta?

Não, não é necessário que o Unity Catalog compartilhe (como provedor) ou consuma dados compartilhados (como destinatário). No entanto, o Unity Catalog oferece benefícios como suporte para ativos não tabulares e compartilhamento de IA, governança integrada, simplicidade e desempenho de consulta.

Providers pode compartilhar dados de duas maneiras:

• Coloque os ativos a serem compartilhados sob a gestão do Unity Catalog, compartilhando-os usando o servidor interno do Azure Databricks Delta Sharing.

  Você não precisa migrar todos os ativos para o Unity Catalog. Você precisa apenas de um workspace do Azure Databricks habilitado para o Unity Catalog para gerenciar ativos que deseja compartilhar. Em algumas contas, novos workspaces são habilitados para o Unity Catalog automaticamente. Consulte Ativação automática do Unity Catalog.

• Implemente o servidor de Compartilhamento Delta aberto para compartilhar dados, sem necessariamente usar sua conta do Azure Databricks.

Recipients pode consumir dados de duas maneiras:

• Sem um workspace do Databricks. Use conectores de Compartilhamento Delta de software livre disponíveis para muitas plataformas de dados, incluindo Power BI, pandas e Apache Spark de software livre. Consulte Ler dados compartilhados usando o compartilhamento aberto do Delta Sharing (para recipients) e o Projeto de código aberto do Delta Sharing.

• Em um Workspace do Databricks. Os workspaces de destinatário não precisam ser habilitados para o Unity Catalog, mas, se forem, haverá vantagens quanto à governança, simplicidade e desempenho.

  As organizações de destinatários que desejam essas vantagens não precisam migrar todos os ativos para o Unity Catalog. Você precisa apenas de um workspace do Azure Databricks habilitado para o Unity Catalog para gerenciar ativos compartilhados com você. Em algumas contas, novos espaços de trabalho são habilitados para o Unity Catalog automaticamente. Consulte Ativação automática do Unity Catalog.

Consulte Ler dados compartilhados usando o compartilhamento aberto do Delta Sharing (para recipients) e Ler dados compartilhados usando o Databricks-to-Databricks Delta Sharing (para recipients).

Preciso ser um cliente do Databricks para usar o Compartilhamento Delta?

Não, o Compartilhamento Delta é um protocolo aberto. Você pode compartilhar dados não Databricks com recipients em qualquer plataforma de dados. Providers pode configurar um servidor de compartilhamento Delta aberto para compartilhar de qualquer plataforma de computação. Recipients pode consumir dados compartilhados usando conectores Delta Sharing de código aberto para muitos produtos de dados, incluindo o Power BI, pandas, e Spark de código aberto.

No entanto, o uso do Delta Sharing no Azure Databricks, especialmente ao compartilhar de um workspace com Unity Cataloghabilitado, oferece muitas vantagens.

Para obter detalhes, consulte a primeira pergunta nessas perguntas frequentes.

O Compartilhamento Delta incorre em custos de saída?

O Compartilhamento Delta dentro de uma região não gera nenhum custo de saída. Diferentemente de outras plataformas de compartilhamento de dados, o Compartilhamento Delta não requer replicação de dados. Esse modelo tem muitas vantagens, mas significa que seu fornecedor de nuvem pode cobrar valores de saída de dados quando você compartilhar dados entre nuvens ou regiões. O Azure Databricks dá suporte ao compartilhamento do Cloudflare R2, que não incorre em taxas de saída, e fornece outras ferramentas e recomendações para monitorar e evitar essas taxas. Consulte Monitorar e gerenciar custos de saída do Delta Sharing (para providers).

Os providers podem revoke o acesso de destinatário?

Sim, o acesso ao destinatário pode ser revogado sob demanda e em níveis especificados de granularidade. Você pode deny acesso de destinatário a shares específicos e endereços IP específicos, filtrar dados tabulares para um destinatário, revoke tokens de destinatário e excluir recipients completamente. Consulte Revoke acesso de destinatário a um compartilhamento e Criar e gerenciar recipients de dados para Delta Sharing.

Não é perigoso usar URLs pré-assinadas?

O Compartilhamento Delta usa URLs pré-assinadas para fornecer acesso temporário a um arquivo no armazenamento de objetos. Eles são dados somente a recipients que já têm acesso aos dados compartilhados. Eles são seguros porque têm curta duração e não expandem o nível de acesso além do que já foi concedido aos recipients.

Os tokens usados no protocolo de Compartilhamento Delta aberto são seguros?

Como o Compartilhamento Delta permite o compartilhamento entre plataformas, ao contrário de outras plataformas de compartilhamento de dados disponíveis, o protocolo de compartilhamento requer um token aberto. Providers pode garantir a segurança do token configurando o tempo de vida do token, definindo controles de rede e revogando o acesso sob demanda. Além disso, o token não expande o nível de acesso além daquilo que já foi concedido aos recipients. Consulte Considerações de segurança para tokens.

Caso prefira não usar tokens para gerenciar o acesso aos shares do destinatário, você deverá usar o compartilhamento Databricks-to-Databricks ou entrar em contato com sua equipe de conta Databricks para alternativas.

O Compartilhamento Delta dá suporte ao compartilhamento de exibição?

Sim, o Compartilhamento Delta dá suporte ao compartilhamento de exibição. Veja Adicionar views a um compartilhamento.

Para saber mais sobre os aprimoramentos planejados para exibir o compartilhamento, entre em contato com sua equipe de conta do Databricks.

Limitações

• Os dados tabulares devem estar no formato Delta table. Você pode converter facilmente tables Parquet em Delta e vice-versa. Consulte CONVERT TO DELTA.
• O Delta Sharing oferece suporte a tables que utilizam clustering líquido e ponto de verificação V2, com algumas limitações:
  • Recipients pode executar somente consultas de instantâneo. Eles não podem executar CDF (feed de dados de alteração) ou consultas de streaming.
  • Providers não podem compartilhar a table com filtragem de partition.
• As restrições de Table (restrições de chave primária e chave estrangeira) não estão disponíveis nas tables compartilhadas.
• As views compartilháveis devem ser definidas em tables Delta ou em outras views compartilháveis. Veja Adicionar views a um compartilhamento (para providers) e Ler views compartilhadas (para recipients).
• O compartilhamento de notebook é suportado apenas no compartilhamento de Databricks para Databricks. Consulte Adicionar arquivos de notebook a um compartilhamento e Ler dados compartilhados usando o Databricks-to-Databricks Delta Sharing (para recipients).
• O compartilhamento de volume só tem suporte no compartilhamento do Databricks para o Databricks. Consulte Adicionar volumes a um compartilhamento (para providers) e Ler dados compartilhados usando o Databricks-to-Databricks Delta Sharing (para recipients).
• O compartilhamento de modelos é suportado apenas no compartilhamento do Databricks para o Databricks. Consulte Adicionar modelos a um compartilhamento (para providers) e Ler dados compartilhados usando o Databricks-to-Databricks Delta Sharing (para recipients).
• Há limites no número de arquivos em metadados permitidos para um tablecompartilhado. Para saber mais, consulte Erros de limit de recursos excedidos.
• Esquemas chamados information_schema não podem ser importados para um metastore de Catalog do Unity, pois esse nome de schema é reservado no Unity Catalog.
• O compartilhamento de SHALLOW CLONEtables não é compatível com o Compartilhamento Delta. O Azure Databricks não dá suporte a URLs de pré-assinatura para logs Delta que fazem referência a caminhos absolutos.

Consulte também Matriz de suporte de recursos do Delta Lake.

Cotas de recursos

O Azure Databricks impõe cotas de recursos em todos os objetos protegíveis de Compartilhamento Delta. Essas cotas são listadas em Limites de recursos. Se você espera exceder esses limites de recursos, entre em contato com sua equipe de conta do Azure Databricks.

Você pode monitorar o uso da cota usando as APIs de cotas de recursos do Unity Catalog. Consulte Monitorar o uso de cotas de recursos do Unity Catalog.

Próximas etapas

• Habilitar sua conta do Databricks para o Compartilhamento Delta
• Criar shares
• Criar recipients
• Saiba mais sobre o compartilhamento aberto e os modelos de compartilhamento do Databricks para o Databricks
• Saiba como os recipients acessam dados compartilhados