Instalar o Databricks Connect for Scala

Este artigo descreve como instalar o Databricks Connect for Scala. Consulte O que é Databricks Connect?. Para a versão Python deste artigo, consulte Install Databricks Connect for Python.

Requisitos

• Seu espaço de trabalho e cluster de destino do Azure Databricks deve atender aos requisitos de configuração de computação para o Databricks Connect.
• O Java Development Kit (JDK) instalado em sua máquina de desenvolvimento. O Databricks recomenda que a versão da instalação do JDK que você usa corresponda à versão do JDK no cluster do Azure Databricks. Para localizar a versão do JDK em seu cluster, consulte a seção "Ambiente do sistema" das notas de versão do Databricks Runtime para seu cluster. Por exemplo, Zulu 8.70.0.23-CA-linux64 corresponde ao JDK 8. Consulte Notas de versão, versões e compatibilidade do Databricks Runtime.
• Scala instalado em sua máquina de desenvolvimento. O Databricks recomenda que a versão da instalação do Scala corresponda à versão do Scala no cluster do Azure Databricks. Para encontrar a versão Scala do Databricks Runtime do seu cluster, consulte a seção System environment das notas de versão do Databricks Runtime para essa versão. Consulte Notas de versão, versões e compatibilidade do Databricks Runtime.
• Se você estiver usando funções definidas pelo usuário (UDFs), as versões locais do Scala e do Java deverão corresponder às versões Scala e Java da versão do Databricks Runtime do cluster. Para localizar as versões Scala e Java da versão Databricks Runtime do cluster, consulte a seção System environment das notas de versão do Databricks Runtime para essa versão. Consulte Notas de versão, versões e compatibilidade do Databricks Runtime.
• Uma ferramenta de construção Scala em sua máquina de desenvolvimento, como sbt.

Adicionar uma referência ao cliente Databricks Connect

Para configurar o cliente Databricks Connect, primeiro adicione uma referência ao cliente. No arquivo de compilação do seu projeto Scala, como build.sbt para sbt, para Maven pom.xml ou build.gradle para Gradle, adicione a seguinte referência ao cliente Databricks Connect. Substitua 14.0.0 pela versão da biblioteca Databricks Connect que corresponde à versão do Databricks Runtime no cluster. Você pode encontrar os números de versão da biblioteca Databricks Connect no repositório central do Maven.

Sbt

libraryDependencies += "com.databricks" % "databricks-connect" % "14.0.0"

Maven

<dependency>
  <groupId>com.databricks</groupId>
  <artifactId>databricks-connect</artifactId>
  <version>14.0.0</version>
</dependency>

Gradle

implementation 'com.databricks.databricks-connect:14.0.0'

Configurar propriedades de conexão

Em seguida, configure as propriedades para estabelecer uma conexão entre o Databricks Connect e seu cluster remoto do Azure Databricks. Essas propriedades incluem configurações para autenticar o Databricks Connect com seu cluster. Consulte Configuração de computação para Databricks Connect.

Para Databricks Connect for Databricks Runtime 13.3 LTS e superior, para Scala, o Databricks Connect inclui o Databricks SDK for Java. Este SDK implementa o padrão de autenticação unificada do cliente Databricks, uma abordagem arquitetônica e programática consolidada e consistente para autenticação. Essa abordagem torna a configuração e a automação da autenticação com o Azure Databricks mais centralizadas e previsíveis. Ele permite que você configure a autenticação do Azure Databricks uma vez e, em seguida, use essa configuração em várias ferramentas e SDKs do Azure Databricks sem alterações adicionais na configuração de autenticação.