Definir propriedades de configuração do Spark no Azure Databricks
Você pode definir as propriedades de configuração do Spark (confs do Spark) para personalizar as configurações em seu ambiente de computação.
O Databricks geralmente não recomenda a configuração da maioria das propriedades do Spark. Especialmente ao migrar do Apache Spark de código aberto ou atualizar versões do Databricks Runtime, as configurações herdadas do Spark podem substituir novos comportamentos padrão que otimizam cargas de trabalho.
Para muitos comportamentos controlados pelas propriedades do Spark, o Azure Databricks também fornece opções para habilitar o comportamento em um nível de tabela ou para configurar o comportamento personalizado como parte de uma operação de gravação. Por exemplo, a evolução do esquema era anteriormente controlada por uma propriedade Spark, mas agora tem cobertura em SQL, Python e Scala. Consulte Sintaxe de evolução do esquema para mesclagem.
Configurar propriedades do Spark para blocos de anotações e trabalhos
Você pode definir propriedades do Spark para blocos de anotações e trabalhos. O escopo da configuração depende de como você a definiu.
| Propriedades configuradas: | Aplica-se a: |
|---|---|
| Usando a configuração de computação | Todos os blocos de anotações e trabalhos são executados com o recurso de computação. |
| Dentro de um caderno | Apenas o SparkSession para o bloco de notas atual. |
Para obter instruções sobre como configurar as propriedades do Spark no nível de computação, consulte Configuração do Spark.
Para definir uma propriedade Spark em um bloco de anotações, use a seguinte sintaxe:
SQL
SET spark.sql.ansi.enabled = true
Python
spark.conf.set("spark.sql.ansi.enabled", "true")
Scala
spark.conf.set("spark.sql.ansi.enabled", "true")
Configurar propriedades do Spark no Databricks SQL
O Databricks SQL permite que os administradores configurem as propriedades do Spark para acesso a dados no menu de configurações do espaço de trabalho. Consulte Habilitar configuração de acesso a dados
Além das configurações de acesso a dados, o Databricks SQL permite apenas um punhado de confs do Spark, que foram aliados para nomes mais curtos para simplificar. Consulte Parâmetros de configuração.
Para a maioria das configurações SQL com suporte, você pode substituir o comportamento global em sua sessão atual. O exemplo a seguir desativa o modo ANSI:
SET ANSI_MODE = false
Configurar propriedades do Spark para pipelines do Delta Live Tables
O Delta Live Tables permite configurar as propriedades do Spark para um pipeline, para um recurso de computação configurado para um pipeline ou para fluxos individuais, exibições materializadas ou tabelas de streaming.
Você pode definir propriedades de pipeline e calcular o Spark usando a interface do usuário ou JSON. Consulte Configurar um pipeline Delta Live Tables.
Use a opção em funções de decorador DLT para configurar as spark_conf propriedades do Spark para fluxos, exibições ou tabelas. Consulte Propriedades do Python Delta Live Tables.
Configurar propriedades do Spark para blocos de anotações e trabalhos sem servidor
A computação Severless não suporta a configuração da maioria das propriedades do Spark para blocos de anotações ou trabalhos. A seguir estão as propriedades que você pode configurar:
spark.sql.legacy.timeParserPolicy(o valor predefinido éEXCEPTION)spark.sql.session.timeZone(o valor predefinido éEtc/UTC)spark.sql.shuffle.partitions(o valor predefinido éauto)spark.sql.ansi.enabled(o valor predefinido étrue)