Ferramentas de desenvolvedor
O Databricks fornece um ecossistema de ferramentas para ajudá-lo a desenvolver aplicativos e soluções que se integram ao Azure Databricks e gerenciam programaticamente os recursos e dados do Databricks.
Este artigo fornece uma visão geral dessas ferramentas e recomendações para as melhores ferramentas para cenários comuns de desenvolvedor.
Quais ferramentas a Databricks fornece para desenvolvedores?
A tabela a seguir fornece uma lista de ferramentas de desenvolvedor fornecidas pela Databricks.
| Ferramenta | Descrição |
|---|---|
| Autenticação e autorização | Configure a autenticação e a autorização para que suas ferramentas, scripts e aplicativos funcionem com o Azure Databricks. |
| Databricks Connect | Conecte-se ao Azure Databricks usando IDEs (ambientes de desenvolvimento integrados) populares, como PyCharm, IntelliJ IDEA, Eclipse, RStudio e JupyterLab. Se você estiver usando o Visual Studio Code, o Databricks recomendará a extensão do Databricks para Visual Studio Code, que é criada com base no Databricks Connect, pois fornece recursos adicionais para permitir uma configuração mais fácil. |
| Extensão do Databricks para Visual Studio Code | Conecte-se aos workspaces remotos do Azure Databricks no IDE (ambiente de desenvolvimento integrado) do Visual Studio Code . |
| Plug-in PyCharm Databricks | Configure uma conexão com um workspace remoto do Databricks e execute arquivos em clusters do Databricks do PyCharm. Este plugin é desenvolvido e fornecido pela JetBrains em parceria com a Databricks. |
| SDKs do Databricks | Automatize o Azure Databricks de bibliotecas de código escritas para linguagens populares, como Python, Java, Go e R. Em vez de enviar chamadas à API REST diretamente usando curl/ Postman, você pode usar um SDK para interagir com o Databricks usando uma linguagem de programação de sua escolha. |
| Drivers e ferramentas do SQL | Conecte-se ao Azure Databricks para executar comandos e scripts SQL, interaja programaticamente com o Azure Databricks e integre a funcionalidade SQL do Azure Databricks a aplicativos criados em linguagens muito usadas, como Python, Go, JavaScript e TypeScript. |
| CLI do Databricks | Acesse a funcionalidade do Azure Databricks usando a CLI (interface de linha de comando) do Databricks. A CLI encapsula a API REST do Databricks, portanto, em vez de enviar chamadas à API REST diretamente usando curl ou Postman, você pode usar a CLI do Databricks para interagir com o Databricks. |
| Pacotes de Ativos do Databricks | Implemente as melhores práticas de CI/CD (desenvolvimento, teste e implantação) padrão do setor para seus projetos de dados e IA do Azure Databricks usando DABs (Asset Bundles) do Databricks. |
| Provedor Terraform do Databricks e CDKTF do Terraform para Databricks | Provisione a infraestrutura e os recursos do Azure Databricks usando o Terraform. |
| Provedor de recursos Pulumi do Databricks | Provisione a infraestrutura e os recursos do Azure Databricks usando a IaC (infraestrutura como código) do Pulumi. |
| Ferramentas de CI/CD | Integre sistemas e estruturas populares de CI/CD, como GitHub Actions, Jenkins e Apache Airflow. |
Dica
Também é possível conectar várias ferramentas populares adicionais de terceiros a clusters e SQL warehouses para acessar dados no Azure Databricks. Confira os parceiros de tecnologia.
Qual ferramenta de desenvolvedor devo usar?
A tabela a seguir descreve as recomendações da ferramenta Databricks para cenários comuns de desenvolvedor.
| Cenários | Recomendação |
|---|---|
| - Desenvolvimento interativo e depuração de um IDE local | Extensão do Databricks para Visual Studio Code Plug-in PyCharm Databricks Para outros IDEs, use a CLI do Databricks com o Databricks Connect |
| - Interação direta com o Databricks a partir da linha de comando - Script de shell -Experimentação - Invocar a API REST diretamente - Gerenciar perfis de autenticação local - Sincronizar o código do IDE para o workspace do Databricks |
CLI do Databricks |
| - Gerenciar fluxos de trabalho e implantar projetos no Databricks - Aplicar as melhores práticas de CI/CD - Co-versão, coautoria, co-implantação de seus recursos e ativos como uma unidade - Suporta os recursos mais comuns |
Pacotes de Ativos do Databricks (um recurso da CLI) |
| - Infraestrutura como código, CI/CD - Administre e crie espaços de trabalho, catálogos, metastores e aplique permissões - Garantir a portabilidade do ambiente e a recuperação de desastres - Muitos recursos suportados |
Provedor Terraform do Databricks |
| - Desenvolvimento de aplicativos - Integre-se aos sistemas de implantação existentes - Criar fluxos de trabalho personalizados do Databricks e novos serviços Web |
Databricks Python SDK Databricks Java SDK Databricks Go SDK Databricks R SDK |
| - Somente cenários avançados - Quase todos os recursos do Databricks estão disponíveis |
API REST do Databricks |