Acesse produtos de dados no Databricks Marketplace (espaços de trabalho habilitados para Unity Catalog)

Este artigo descreve como acessar produtos de dados no Databricks Marketplace se você tiver um espaço de trabalho do Azure Databricks habilitado para o Unity Catalog.

Descrição geral

O Databricks Marketplace oferece a você, como consumidor de dados, uma plataforma segura para descobrir produtos de dados de que sua organização precisa para ser bem-sucedida. O Databricks Marketplace usa o Delta Sharing para fornecer segurança e controle sobre dados compartilhados. Os consumidores podem acessar dados públicos, dados de amostra gratuitos e ofertas de dados comercializados. Os consumidores que usam um espaço de trabalho do Azure Databricks com suporte para Unity Catalognão se limitam a aceder a dados tabulares, mas também podem aceder a volumes (dados não tabulares), modelos de IA, notebooks do Databricks e Databricks Solution Accelerators.

Ao consumir produtos de dados do Marketplace usando um espaço de trabalho do Azure Databricks habilitado para o Unity Catalog, pode aproveitar a profunda integração entre o Delta Sharing e o Unity Catalog, juntamente com a governança, auditoria e interfaces convenientes do Unity Catalog.

Antes de começar

Para procurar listagens de produtos de dados no Databricks Marketplace, você pode usar uma das seguintes opções:

• O Mercado Aberto.
• Um espaço de trabalho do Azure Databricks.

Para consumir produtos de dados usando um espaço de trabalho Databricks habilitado para o Unity Catalog, você deve ter o seguinte:

• Uma conta do Azure Databricks no plano Premium.

• Um espaço de trabalho do Azure Databricks habilitado para o Unity Catalog (é claro). Veja Habilitar um espaço de trabalho para o Unity Catalog.

  Se não tiver um, podes get uma avaliação gratuita. Clique em Experimentar gratuitamente no Open Marketplace e siga as instruções para iniciar a versão experimental.

  Importante

  Você não precisa habilitar todos os seus espaços de trabalho para o Unity Catalog. Você pode criar um novo espaço de trabalho e habilitá-lo para o Unity Catalog, usando-o para receber produtos de dados do Marketplace. Se essa opção não estiver disponível, use a opção Marketplace em plataformas externas. Consulte Acessar produtos de dados no Databricks Marketplace usando plataformas externas.

  Para saber como habilitar um espaço de trabalho para o Unity Catalog, consulte Set e gerenciar o Unity Catalog.

• USE MARKETPLACE ASSETS privilégio ligado ao metastore do Unity Catalog anexado ao espaço de trabalho. Consulte Tipos de privilégios que se aplicam apenas ao Delta Sharing ou ao Databricks Marketplace. Este privilégio é ativado para todos os utilizadores em todos os Unity Catalogmetastores por padrão.

  Se o administrador tiver desativado esse privilégio, você poderá solicitar que ele o grant para você ou que grant a você uma destas opções:

  • Permissões CREATE CATALOG e USE PROVIDER no metastore do Unity Catalog.
  • Função de administrador da Metastore.

  Se você não tiver nenhum desses privilégios, ainda poderá visualizar as listagens do Marketplace, mas não poderá acessar produtos de dados usando o Unity Catalog.

  Para obter mais informações, consulte Unity Catalog privilégios e objetos protegíveis e Gerenciar privilégios no Unity Catalog. Consulte também Desativar o acesso ao Marketplace.

Navegue pelas listagens do Databricks Marketplace

Para encontrar um produto de dados desejado, basta navegar ou pesquisar as listagens de produtos de dados no Databricks Marketplace.

1. Vá para marketplace.databricks.com ou faça logon em seu espaço de trabalho do Azure Databricks e clique em Marketplace.

2. Navegue ou pesquise o produto de dados desejado.

   Você pode filtrar listagens por tipo de produto (conjunto de dados, acelerador de solução ou modelo de ML), nome do provedor, categoria, custo (gratuito ou pago) ou pesquisa por palavra-chave.

   Se você estiver conectado a um espaço de trabalho do Azure Databricks, também poderá optar por exibir apenas as listagens privadas disponíveis como parte de uma troca privada. Consulte Participar em intercâmbios privados.

Solicitar acesso a produtos de dados no Marketplace

Para solicitar acesso a produtos de dados, você deve estar conectado a um espaço de trabalho do Azure Databricks. Alguns produtos de dados estão disponíveis imediatamente e outros exigem aprovação do provedor e conclusão da transação usando interfaces do provedor.

Requisitos

Consulte Antes de começar. Para aceder a produtos de dados no Marketplace, deve-se ter pelo menos o privilégio de USE MARKETPLACE ASSETS no metastore do Unity Catalog ligado ao espaço de trabalho que está a utilizar.

Get acesso a produtos de dados que estão disponíveis instantaneamente

Alguns produtos de dados estão disponíveis instantaneamente, exigindo apenas que você os solicite e concorde com os termos. Eles estão listados sob o título Gratuito e instantaneamente disponível na página de destino do Marketplace, são identificados no bloco de listagem como Gratuito e são identificados como Instantaneamente disponíveis na página de detalhes do anúncio.

1. Quando encontrar um anúncio em que esteja interessado na página de destino do Marketplace, clique no anúncio para abrir a página de detalhes do anúncio.

2. Clique no botão Get de acesso instantâneo e aceite os termos e condições do Databricks.

   O acesso aos Databricks Solution Accelerators funciona de forma um pouco diferente. Veja Get acesso aos Aceleradores de Solução Databricks.

3. (Opcional) Em Mais opções, modifique o nome catalog sugerido.

   O nome catalog é exibido no Catalog Explorer em seu espaço de trabalho do Azure Databricks e é usado no namespace de três partes (catalog.schema.table|volume|view) em consultas. Você pode alterar o nome padrão.

4. Clique no botão Get de acesso instantâneo.

5. Clique no botão Abrir para exibir o produto de dados, que é exibido como um catalog de leitura apenas no Catalog Explorer.

   Para obter informações sobre como gerir o acesso a catalogs no Azure Databricks, consulte aceder aos dados partilhados usando o Unity Catalog.

Se blocos de anotações de exemplo estiverem disponíveis, eles aparecerão sob o título Bloco de anotações de amostra na listagem.

Para ver um bloco de notas, clique no botão Pré-visualizar bloco de notas . Para importar um bloco de anotações para seu espaço de trabalho do Azure Databricks para que você possa executá-lo, clique em Visualizar bloco de anotações e, em seguida, clique em Importar Bloco de Anotações. Consulte Introdução aos blocos de anotações Databricks.

Solicitar produtos de dados que exigem aprovação do provedor

Alguns produtos de dados exigem aprovação do provedor, geralmente porque uma transação comercial está envolvida, ou o provedor pode preferir personalizar produtos de dados para você. Estes anúncios são identificados na página de detalhes do anúncio como Por solicitação e incluem um botão Solicitar acesso .

1. Quando encontrar um anúncio em que esteja interessado na página de destino do Marketplace, clique no anúncio para abrir a página de detalhes do anúncio.

2. Clique no botão Solicitar acesso .

3. Introduza o seu nome, empresa e uma breve descrição da utilização pretendida para o produto de dados.

4. Aceite os termos e condições do Databricks e clique em Solicitar acesso.

5. Você será notificado por e-mail quando o provedor concluir a análise do seu pedido.

   Também pode monitorizar o progresso do seu pedido na página Os meus pedidos no Marketplace. Consulte Gerenciar produtos de dados compartilhados do Databricks Marketplace. No entanto, quaisquer transações que se seguirem usarão as comunicações do provedor e plataformas de pagamento. Nenhuma transação comercial é tratada diretamente no Databricks Marketplace.

6. Quando a transação estiver concluída, o fornecedor de dados disponibilizará o produto de dados como um catalog de leitura apenas no seu espaço de trabalho.

   Para obter informações sobre como gerir o acesso a catalogs no Azure Databricks, consulte Aceder aos dados partilhados usando o Unity Catalog.

Get acesso aos Aceleradores de Solução da Databricks

Ao contrário de outros ativos de dados, os Databricks Solution Accelerators são compartilhados clonando repositórios Git e disponibilizando-os em pastas Databricks Git. Para acessar um Solution Accelerator:

1. No Marketplace, clique na listagem do Solution Accelerator para abrir a página de detalhes da listagem.
2. Clique no botão Get de acesso instantâneo.
3. Na caixa de diálogo Adicionar pasta Git, insira um nome para o repositório. Esse nome aparecerá nas interfaces do usuário das pastas Git do Databricks.
4. Aceite os termos e condições do Databricks e clique em Criar pasta Git.
5. Clique no botão Abrir e abra a pasta selectGit para visualizar o repositório no navegador de arquivos do espaço de trabalho.

Acesse os dados compartilhados usando o Unity Catalog

O acesso aos dados em seu espaço de trabalho do Azure Databricks depende do tipo de produto de dados:

• São partilhados consigo os conjuntos de dados e modelos do Marketplace num catalog de leitura única no Azure Databricks. Catalogs são o contêiner de nível superior para ativos de dados gerenciados pelo Unity Catalog. Para obter mais informações sobre a hierarquia de objetos de dados no Unity Catalog, consulte objetos de banco de dados no Azure Databricks.

  Uma vez que o provedor tenha compartilhado os dados com você, você tem algumas maneiras de acessar o catalog. As seções a seguir descrevem algumas dessas opções de acesso.

• Os blocos de notas são partilhados diretamente na listagem do Marketplace e pode importá-los da listagem para a sua área de trabalho.

• Os Aceleradores de Solução são compartilhados como pastas Databricks Git. Consulte o acesso aos Aceleradores de Solução da Databricks Get.

Aceder a conjuntos de dados partilhados no Marketplace

Para aceder a dados partilhados a partir do Marketplace:

1. Na barra lateral, clique em Marketplace.

2. Na página inicial do Marketplace, clique em Minhas solicitações no canto superior direito.

3. Na guia Produtos de dados instalados, localize o produto de dados, clique no menu Kebab menu kebab no final da linha do produto de dados e Exibir dados.

   Você também pode clicar no nome do produto de dados para abrir a página de detalhes do produto de dados, e where pode clicar no botão Abrir para exibir os dados.

   Catalog Explorer abre para o catalog que contém os dados setwhere, podendo aceder aos dados ou gerir o acesso para outros membros da equipa. Consulte Grant acesso a outros membros da equipe.

   Para saber mais sobre como aceder a dados partilhados no Azure Databricks, consulte Ler dados partilhados usando o Compartilhamento Delta de Databricks para Databricks (para recipients).

Acessar conjuntos de dados compartilhados no Catalog Explorer

Para acessar dados compartilhados diretamente do Catalog Explorer:

1. Na barra lateral, clique no ícone Catalog.
2. Se souber o nome da catalog que contém os dados partilhados, pesquise-a e select-a.

Se você não souber o nome do catalog, mas souber o nome do provedor, poderá encontrar o catalog no Catalog Explorer fazendo o seguinte:

1. Na barra lateral, clique no ícone Catalog.
2. No painel esquerdo do Catalog Explorer, clique em Partilha Delta e, em seguida, Partilhado comigo.
3. Na guia Providers, clique no nome do fornecedor.
4. Na guia Shares, localize o nome do catalog e clique nele para abri-lo.

Acessar conjuntos de dados compartilhados usando as instruções Databricks CLI ou SQL

Você também pode localizar e acessar o catalog que contém os dados compartilhados usando as instruções CLI ou SQL do Databricks em um bloco de anotações do Azure Databricks ou consulta do editor do Databricks SQL. Para obter detalhes, consulte o acesso a dados em um table partilhado ou no volume. Você pode pular as seções que descrevem como criar um catalog, já que o Databricks Marketplace faz isso por você.

Grant acesso a outros membros da equipa

Se você for o usuário que solicitou os dados compartilhados, será o proprietário do catalog que contém esses dados em seu espaço de trabalho. Como tal, você pode grant aos membros da sua equipe acesso ao catalog e refinar o acesso no nível schema, table, visualização, linha e column, assim como faz com quaisquer dados no Unity Catalog. Consulte Gerenciar privilégios no Unity Catalog. Dito isso, table e exibir dados em um catalog compartilhado é somente leitura, o que significa que você só pode grant sua equipe ler operações como DESCRIBE, SHOWe SELECT.

Você também pode transferir a propriedade do catalog ou dos objetos dentro dele.

Ver exemplos de blocos de notas

Algumas listagens incluem blocos de anotações de exemplo na página de detalhes da listagem. Para aceder a estes blocos de notas para obter anúncios instantaneamente disponíveis que foram partilhados consigo:

1. Na barra lateral, clique em Marketplace.
2. Na página inicial do Marketplace, clique em Minhas solicitações no canto superior direito.
3. Na guia Produtos de dados instalados , localize o produto de dados e clique no nome do produto de dados para abrir a página de detalhes da listagem. Se houver um bloco de anotações de exemplo, ele aparecerá sob o título Bloco de anotações de exemplo na listagem.
4. Clique em Visualizar bloco de anotações para exibir o bloco de anotações e clique em Importar bloco de anotações para importá-lo para seu espaço de trabalho do Azure Databricks.

Participe em intercâmbios privados

Alguns dados podem querer partilhar determinados dados com um número limitado de consumidores que são convidados a fazer parte de um intercâmbio privado. Você pode encontrar listagens de câmbio privado marcando a caixa de seleção Troca privada na página inicial do Marketplace. Tal como acontece com os anúncios públicos, pode aceder instantaneamente aos anúncios gratuitos ou solicitar acesso aos que estão marcados como Pedido.

Para join uma troca privada, um provedor de dados precisa convidar a sua organização. Quando o fizerem, eles solicitarão um identifier partilhado para o seu metastore Unity Catalog. Para saber como get o identifierde partilha do seu metastore, consulte o passo 1 no acesso Get no modelo Databricks-to-Databricks.

Para saber mais sobre trocas privadas, consulte Criar e gerenciar trocas privadas no Databricks Marketplace.

Desativar o acesso ao Marketplace

Por padrão, todos os usuários em qualquer espaço de trabalho habilitado para Unity Catalogtêm a capacidade de solicitar produtos de dados no Databricks Marketplace. Em outras palavras, o grupo account users tem o privilégio USE MARKETPLACE ASSETS em todos os Catalogmetastores Unity, a menos que um administrador de metastore revogue esse privilégio.

Este privilégio não grant a capacidade de participar em transações financeiras com dados providers. Todas as transações financeiras ocorrem fora do Azure Databricks. Esse privilégio grant a capacidade de acessar produtos de dados rotulados gratuitos e instantaneamente disponíveis e produtos de dados que já foram comprados. Aceder a esses produtos de dados cria novos catalogs apenas leitura no Azure Databricks que são propriedade do solicitante, que pode conceder grant apenas leitura a outros utilizadores.

Um administrador do metastore pode desativar a capacidade de todos os utilizadores pedirem produtos de dados no Databricks Marketplace revogando o privilégio de USE MARKETPLACE ASSETS do grupo account users no Unity metastore Catalog. Se você revoke esse privilégio, os usuários podem continuar a navegar no Databricks Marketplace em seu espaço de trabalho, mas não podem solicitar produtos de dados.

Permissão necessária: Metastore admin

Catalog Explorer

Para revoke o privilégio de USE MARKETPLACE ASSETS para o grupo account users:

1. No seu espaço de trabalho do Azure Databricks, clique Catalog.
2. Clique no ícone de link ao lado do nome do metastore no canto superior esquerdo.
3. Encontre a linha que concede account users o USE MARKETPLACE ASSETS privilégio.
4. Clique na caixa de seleção ao lado da linha e clique no botão Revoke.
5. Confirme a ação revoke.
6. Grant o privilégio a quaisquer usuários e grupos específicos de sua escolha, clicando no botão Grant.

SQL

Para revoke o privilégio de USE MARKETPLACE ASSETS para o grupo account users, execute o seguinte comando em um bloco de anotações ou no editor de consultas Databricks SQL.

REVOKE USE MARKETPLACE ASSETS ON METASTORE FROM `account users`;

Para grant o privilégio de USE MARKETPLACE ASSETS a um usuário ou grupo específico, execute o seguinte comando em um bloco de anotações ou no editor de consultas Databricks SQL.

GRANT USE MARKETPLACE ASSETS ON METASTORE TO `<user-or-group>`;

Se você não quiser que seus usuários possam exibir a home page do Marketplace, entre em contato com sua equipe de conta do Azure Databricks.

Problemas conhecidos

Se uma solicitação de acesso for rejeitada pelo provedor de dados, você não poderá solicitar o mesmo produto de dados novamente. Se você encontrar esse problema, entre em contato com seu provedor ou com a equipe de conta do Azure Databricks.

Partilhe os seus comentários

Adoraríamos ouvir o que você pensa sobre o Databricks Marketplace.

• Tem comentários? Vá para Aprender > Fornecer comentários na página inicial do Marketplace.
• Quer ver conjuntos de dados adicionais no mercado? Clique em Sugerir um produto no banner da página inicial do Marketplace.

Próximos passos

• Gerenciar solicitações e dados do Marketplace que foram compartilhados com você