Gerenciar conexões no Partner Connect
Você pode executar tarefas administrativas com conexões de workspace do Azure Databricks com soluções de parceiros, como:
- Gerenciando usuários de contas de parceiros.
- Gerenciar a entidade de serviço do Azure Databricks e token de acesso pessoal relacionado que uma conexão usa.
- Desconectando um espaço de trabalho de um parceiro.
Para administrar o Partner Connect, você deve entrar no seu workspace como um administrador. Para obter mais informações, confira Gerenciar usuários.
Gerenciar usuários de conta de parceiro
No casos em que os usuários têm permissão para usar o Partner Connect a fim de entrar na conta ou site do parceiro (como Fivetran e Rivery), quando alguém na organização se conecta de um dos workspaces do Azure Databricks a um parceiro pela primeira vez, essa pessoa se torna o administrador da conta do parceiro em todos os workspaces da organização. Para permitir que outros usuários em sua organização entrem nesse parceiro, o administrador da conta do parceiro deve primeiro adicionar esses usuários à conta do parceiro da sua organização. Alguns parceiros permitem que o administrador da conta do parceiro delegue essa permissão também. Para obter detalhes, confira a documentação no site do parceiro.
Se ninguém puder adicionar usuários à conta do parceiro da sua organização (por exemplo, o administrador da conta do parceiro não estiver mais disponível), entre em contato com o parceiro para obter assistência. Para obter links de suporte, confira a lista de parceiros do Partner Connect do Azure Databricks.
Conectar dados gerenciados pelo Catálogo do Unity a soluções de parceiros
Se o workspace estiver habilitado para o Catálogo do Unity, você poderá conectar algumas soluções de parceiros aos dados gerenciados pelo Catálogo do Unity. Ao criar a conexão usando o Partner Connect, você pode escolher se o parceiro usa o metastore herdado do Hive (hive_metastore) ou outro catálogo que você tenha. Os administradores do Metastore podem selecionar qualquer catálogo no metastore atribuído ao workspace.
Observação
Se a solução de um parceiro não der suporte ao Catálogo do Unity com o Partner Connect, você só poderá usar o catálogo padrão do workspace. Se o catálogo padrão não for hive_metastore e você não tiver o catálogo padrão, receberá um erro.
Para obter uma lista de parceiros que dão suporte ao Catálogo do Unity com o Partner Connect, veja a lista de parceiros do Azure Databricks Partner Connect.
Para obter informações sobre como solucionar problemas de conexões, veja Solucionar problemas do Partner Connect.
Gerenciar entidades de serviço e tokens de acesso pessoal
Para parceiros que exigem entidades de serviço do Azure Databricks, quando alguém em seu espaço de trabalho do Azure Databricks se conecta a um parceiro específico pela primeira vez, a Conexão com o Parceiro cria uma entidade de serviço do Azure Databricks em seu espaço de trabalho para uso com esse parceiro. A Conexão com o Parceiro gera nomes de exibição da entidade de serviço usando o formato <PARTNER-NAME>_USER. Por exemplo, para o parceiro Fivetran, o nome de exibição da entidade de serviço é FIVETRAN_USER.
A Conexão com o Parceiro também cria um token de acesso pessoal do Azure Databricks e o associa a ele a entidade de serviço do Azure Databricks. A Conexão do Parceiro fornece o valor desse token ao parceiro nos bastidores para concluir a conexão com esse parceiro. Não é possível exibir ou obter o valor desse token. Esse token não expira até que você ou outra pessoa o exclua. Confira também Desconectar de um parceiro.
O Partner Connect concede as seguintes permissões de acesso para as entidades de serviço do Azure Databricks em seu workspace:
| Parceiros | Permissões |
|---|---|
| Fivetran, Matillion, Power BI, Tableau, erwin Data Modeler, Precisely Data Integrity Suite | Essas soluções não exigem entidades de serviço do Azure Databricks. |
| dbt Cloud, Hevo Data, Rivery, Rudderstack, Snowplow | - A permissão token PODE USAR para criar um token de acesso pessoal. - Permissão para criação de SQL warehouses. - Acesso ao workspace. - Acesso ao Databricks SQL. - (Catálogo do Unity) O privilégio USE CATALOG no catálogo selecionado.- (Catálogo do Unity) O privilégio CREATE SCHEMA no catálogo selecionado.- (Metastore herdado do Hive) O privilégio USAGE no catálogo hive_metastore.- (Metastore herdado do Hive) O privilégio CREATE no catálogo hive_metastore, para que o Partner Connect possa criar objetos no metastore herdado do Hive em seu nome.- Propriedade das tabelas criadas. A entidade de serviço não pode consultar nenhuma tabela que ela mesma não tenha criado. |
| Prophecy | - A permissão token PODE USAR para criar um token de acesso pessoal. - Acesso ao workspace. - Permissão para criação de cluster. A entidade de serviço não pode acessar nenhum cluster que ela mesma não tenha criado. - Permissão para criação de trabalhos. A entidade de serviço não pode acessar nenhum trabalho que ela mesma não tenha criado. |
| John Snow Labs, Labelbox | - A permissão token PODE USAR para criar um token de acesso pessoal. - Acesso ao workspace. |
| Anomalo, AtScale, Census, Hex, Hightouch, Lightup, Monte Carlo, Preset, Privacera, Qlik Sense, Sigma, Stardog | - A permissão token PODE USAR para criar um token de acesso pessoal. - O privilégio PODE USAR no Databricks SQL warehouse selecionado. - O privilégio SELECT no esquema selecionado.- (Catálogo do Unity) O privilégio USE CATALOG no catálogo selecionado.- (Catálogo do Unity) O privilégio USE SCHEMA no esquema selecionado.- (Metastore herdado do Hive) O privilégio USAGE no esquema selecionado.- (Metastore herdado do Hive) O privilégio READ METADATA para o esquema selecionado. |
| Dataiku | - A permissão token PODE USAR para criar um token de acesso pessoal. - Permissão para criação de SQL warehouses. - (Catálogo do Unity) O privilégio USE CATALOG no catálogo selecionado.- (Catálogo do Unity) O privilégio USE SCHEMA nos esquemas selecionados.- (Catálogo do Unity) O privilégio CREATE SCHEMA no catálogo selecionado.- (Metastore do Hive herdado) O privilégio USAGE no catálogo hive_metastore e nos esquemas selecionados.- (Metastore herdado do Hive) O privilégio CREATE no catálogo hive_metastore, para que o Partner Connect possa criar objetos no metastore herdado do Hive em seu nome.- (Metastore herdado do Hive) O privilégio SELECT nos esquemas selecionados. |
| SuperAnnotate | - A permissão token PODE USAR para criar um token de acesso pessoal. - O privilégio PODE USAR no Databricks SQL warehouse selecionado. - O privilégio SELECT nos esquemas selecionados.- (Catálogo do Unity) O privilégio USE CATALOG no catálogo selecionado.- (Catálogo do Unity) O privilégio USE SCHEMA nos esquemas selecionados.- (Metastore do Hive herdado) O privilégio USAGE no catálogo hive_metastore e nos esquemas selecionados.- (Metastore herdado do Hive) O privilégio SELECT nos esquemas selecionados. |
| Informatica Cloud Data Integration | - A permissão token PODE USAR para criar um token de acesso pessoal. - O privilégio CAN MANAGE no depósito SQL do Databricks selecionado. - Os privilégios CREATE e USAGE nos objetos de dados.- (Catálogo do Unity) O privilégio USE CATALOG no catálogo selecionado.- (Catálogo do Unity) O privilégio USE SCHEMA nos esquemas selecionados.- (Metastore do Hive herdado) Os privilégios USAGE e CREATE no catálogo hive_metastore e nos esquemas selecionados.- (Metastore herdado do Hive) O privilégio SELECT nos esquemas selecionados. |
Desconectar de um parceiro
Se o bloco de um parceiro tiver um ícone de marca de seleção, isso significa que alguém em seu workspace do Azure Databricks já criou uma conexão com esse parceiro. Para se desconectar desse parceiro, você redefine o bloco do parceiro na Conexão com o Parceiro. A redefinição do bloco de um parceiro faz o seguinte:
- Desmarca o ícone de marca de seleção do bloco do parceiro.
- Exclui o SQL warehouse associado ou o cluster se o parceiro exigir um.
- Exclui a entidade de serviço do Azure Databricks associada, se o parceiro exigir uma. Excluir uma entidade de serviço também exclui essa entidade de serviço relacionada com o token acesso pessoal do Azure Databricks. O valor desse token é o que conclui a conexão entre o seu workspace e o parceiro. Para obter mais informações, confira Gerenciar entidades de serviço e tokens de acesso pessoal.
Aviso
A exclusão de um SQL warehouse, um cluster, uma entidade de serviço do Azure Databricks ou um token de acesso pessoal da entidade de serviço do Azure Databricks é permanente e não pode ser desfeita.
Redefinir o bloco de um parceiro não exclui a conta de parceiro relacionada à sua organização nem altera as configurações de conexão relacionadas com o parceiro. No entanto, redefinir o bloco de um parceiro interrompe a conexão entre o workspace e a conta de parceiro relacionada. Para reconectar-se, você deve criar uma nova workspace de trabalho para o parceiro e, em seguida, editar manualmente as configurações de conexão originais na conta do parceiro relacionado para corresponder às novas configurações de conexão.
Para redefinir o bloco de um parceiro, clique no bloco, clique em Excluir Conexãoe siga as instruções na tela.
Como alternativa, você pode desconectar manualmente um espaço de trabalho do Azure Databricks de um parceiro excluindo a entidade de serviço relacionada do Azure Databricks em seu workspace que está associado a esse parceiro. Talvez você queira fazer isso se desejar desconectar seu workspace de um parceiro, mas ainda manter outros recursos associados e ainda manter o ícone de marca de seleção exibido no bloco. Excluir uma entidade de serviço também exclui essa entidade de serviço relacionada com o token de acesso pessoal. O valor desse token é o que conclui a conexão entre o seu workspace e o parceiro. Para obter mais informações, confira Gerenciar entidades de serviço e tokens de acesso pessoal.
Para excluir uma entidade de serviço do Azure Databricks, use a API REST do Databricks da seguinte maneira:
- Obtenha a ID do aplicativo da entidade de serviço do Azure Databricks chamando a operação
GET /preview/scim/v2/ServicePrincipalsna API de entidades de serviço do workspace do seu workspace. Anote oapplicationIdda entidade de serviço na resposta. - Use
applicationIdda entidade de serviço para chamar a operaçãoDELETE /preview/scim/v2/ServicePrincipalsna API de entidades de serviço do workspace do seu workspace.
Por exemplo, para obter a lista de nomes de exibição da entidade de serviço e IDs de aplicativo disponíveis para um workspace, você pode chamar curl da seguinte maneira:
curl --netrc --request GET \
https://<databricks-instance>/api/2.0/preview/scim/v2/ServicePrincipals \
| jq '[ .Resources[] | { displayName: .displayName, applicationId: .applicationId } ]'
Substitua <databricks-instance> com a URL por workspace com o Azure Databricks, por exemplo, adb-1234567890123456.7.azuredatabricks.net do seu workspace.
O nome de exibição da entidade de serviço está no campo displayName da saída. A Conexão com o Parceiro gera nomes de exibição da entidade de serviço usando o formato <PARTNER-NAME>_USER. Por exemplo, para o parceiro Fivetran, o nome de exibição da entidade de serviço é FIVETRAN_USER.
O valor da ID do aplicativo da entidade de serviço está no campo applicationId da saída, por exemplo 123456a7-8901-2b3c-45de-f678a901b2c.
Para excluir a entidade de serviço, você pode chamar curl da seguinte maneira:
curl --netrc --request DELETE \
https://<databricks-instance>/api/2.0/preview/scim/v2/ServicePrincipals/<application-id>
Substitua:
<databricks-instance>com a URL por workspace, por exemplo,adb-1234567890123456.7.azuredatabricks.netdo seu workspace.<application-id>com o valor da ID de aplicativo da entidade de serviço.
Os exemplos anteriores usam um arquivo . netrc e jq. Observe que, nesse caso, o arquivo .netrc usa seu valor de token de acesso pessoal –não o da entidade de serviço.
Depois de desconectar seu workspace de um parceiro, talvez você queira limpar todos os recursos relacionados que o parceiro cria no workspace. Isso pode incluir um SQL warehouse ou um cluster e os locais de armazenamento de dados relacionados. Para obter mais informações, confira Conectar-se a um SQL warehouse ou Excluir uma computação.
Se tiver certeza de que não há outros espaços de trabalho em sua organização conectados ao parceiro, talvez você também queira excluir a conta da sua organização com esse parceiro. Para fazer isso, entre em contato com o parceiro para obter assistência. Para obter links de suporte, consulte o guia de conexão de parceiro apropriado.