Migrar para o Databricks Connect para Scala

Este artigo descreve como migrar do Databricks Connect for Databricks Runtime 12.2 LTS e inferior para o Databricks Connect for Databricks Runtime 13.3 LTS e superior para Scala. O Databricks Connect permite conectar IDEs populares, servidores de notebook e aplicativos personalizados a clusters do Azure Databricks. Consulte O que é Databricks Connect?. Para obter a versão Python deste artigo, consulte migrar para o Databricks Connect for Python.

1. Instale a versão correta do Java Development Kit (JDK) e do Scala, conforme listado no requisitos de instalação, para corresponder ao cluster do Azure Databricks, se ainda não estiver instalado localmente.

2. No arquivo de compilação do seu projeto Scala, como build.sbt para sbt, pom.xml para Maven ou build.gradle para Gradle, update a seguinte referência ao cliente Databricks Connect:

   Sbt

   libraryDependencies += "com.databricks" % "databricks-connect" % "14.0.0"
   

   Maven

   <dependency>
     <groupId>com.databricks</groupId>
     <artifactId>databricks-connect</artifactId>
     <version>14.0.0</version>
   </dependency>
   

   Gradle

   implementation 'com.databricks.databricks-connect:14.0.0'
   

   Substitua 14.0.0 pela versão da biblioteca Databricks Connect que corresponde à versão do Databricks Runtime no cluster. Você pode encontrar os números de versão da biblioteca Databricks Connect no repositório central do Maven.

3. Update o código Scala para inicializar a variável spark (que representa uma instanciação da classe DatabricksSession, semelhante à SparkSession no Spark). Para obter exemplos de código, consulte Exemplos de código para Databricks Connect for Scala.