Compartilhar via

Limitações do Databricks Connect para Scala

  • Artigo

Observação

Esse artigo aborda o Databricks Connect para Databricks Runtime 13.3 LTS e superior.

Esse artigo lista as limitações do Databricks Connect para Scala. O Databricks Connect permite que você conecte IDEs, servidores de notebook populares e aplicativos personalizados aos clusters do Azure Databricks. Confira O que é o Databricks Connect?. Para obter a versão em Python desse artigo, consulte Limitações do Databricks Connect para Python.

Databricks Connect para Databricks Runtime 13.3 LTS e inferior:

  • Streaming foreachBatch
  • Como criar DataFrames maiores que 128 MB
  • Consultas longas ao longo de 3,600 segundos
  • UDFs escalares em clusters que usam o modo de acesso de cluster de usuário único

Não disponível:

  • Utilitários do Databricks: credentials, library, notebook workflow e widgets
  • SparkContext
  • RDDs
  • Inferência do modelo MLflow: API pyfunc.spark_udf()
  • Geoespacial de mosaico
  • CREATE TABLE <table-name> AS SELECT (em vez disso, use spark.sql("SELECT ...").write.saveAsTable("table"))
  • Alterar o nível de log log4j através de SparkContext
  • Treinamento de ML distribuído
  • Sincronizar o ambiente de desenvolvimento local com o cluster remoto