Compartilhar via

Limitações com o Databricks Connect para Python

  • Artigo

Observação

Esse artigo aborda o Databricks Connect para Databricks Runtime 13.3 LTS e superior.

Este artigo lista as limitações com o Databricks Connect para Python. O Databricks Connect permite que você conecte os IDEs mais populares, servidores de notebook e aplicativos personalizados aos clusters do Azure Databricks. Confira O que é o Databricks Connect?. Para obter a versão do Scala deste artigo, consulte Limitações com o Databricks Connect para Scala.

Databricks Connect para Databricks Runtime 13.3 LTS e inferior:

  • Streaming foreachBatch
  • Como criar DataFrames maiores que 128 MB
  • Consultas longas ao longo de 3,600 segundos

Não disponível:

  • API do conjunto de dados
  • APIs tipadas com conjunto de dados (como reduce() e flatMap())
  • Utilitários do Databricks: credentials, library, notebook workflow e widgets
  • SparkContext
  • RDDs
  • Inferência do modelo MLflow: API pyfunc.spark_udf()
  • Geoespacial de mosaico
  • CREATE TABLE <table-name> AS SELECT (em vez disso, use spark.sql("SELECT ...").write.saveAsTable("table"))
  • ApplyinPandas() e Cogroup() com clusters compartilhados
  • Alterar o nível de log log4j através de SparkContext
  • Treinamento de ML distribuído
  • Sincronizar o ambiente de desenvolvimento local com o cluster remoto