Renomear e remover colunas usando o mapeamento de colunas do Delta Lake

O Azure Databricks dá suporte ao mapeamento de colunas para tabelas do Delta Lake, o que permite que as alterações somente de metadados marquem colunas como excluídas ou renomeadas sem reescrever arquivos de dados. Ele também permite que os usuários nomeiem as colunas de tabela do Delta usando caracteres que não são permitidos pelo Parquet, como espaços, para que os usuários possam inserir diretamente os dados CSV ou JSON no Delta, sem a necessidade de renomear colunas devido a restrições de caracteres anteriores.

Habilitar o mapeamento de coluna

O mapeamento de coluna requer os seguintes protocolos Delta:

• Leitor versão 2 ou superior.
• Gravador versão 5 ou superior.

Em uma tabela do Delta com as versões de protocolo necessárias, você pode habilitar o mapeamento de coluna ao definir delta.columnMapping.mode como name.

É possível usar o seguinte comando para habilitar o mapeamento de coluna:

  ALTER TABLE <table-name> SET TBLPROPERTIES (
    'delta.columnMapping.mode' = 'name'
  )

Confira Desabilitar o mapeamento de coluna.

Renomear uma coluna

Quando o mapeamento de coluna estiver habilitado para uma tabela do Delta, você poderá renomear uma coluna:

ALTER TABLE <table-name> RENAME COLUMN old_col_name TO new_col_name

Para obter mais exemplos, confira Atualizar esquema de tabela do Delta Lake.

Remover colunas

Quando o mapeamento de coluna estiver habilitado para uma tabela do Delta, você poderá remover uma ou mais colunas:

ALTER TABLE table_name DROP COLUMN col_name
ALTER TABLE table_name DROP COLUMNS (col_name_1, col_name_2, ...)

Para obter mais detalhes, confira Atualizar esquema de tabela do Delta Lake.

Caracteres com suporte em nomes de coluna

Quando o mapeamento de coluna estiver habilitado para uma tabela do Delta, você poderá incluir espaços e qualquer um destes caracteres nos nomes de coluna da tabela: ,;{}()\n\t=.

Streaming com mapeamento de colunas e alterações de esquema

Você pode fornecer um local de rastreamento de esquema para habilitar o streaming de tabelas Delta com o mapeamento de coluna habilitado. Isso supera um problema no qual as alterações de esquema não aditivas podem resultar em fluxos interrompidos.

Cada leitura de streaming em uma fonte de dados deve ter seu próprio schemaTrackingLocation especificado. O schemaTrackingLocation especificado deve estar contido no diretório especificado para o checkpointLocation da tabela de destino para gravação em fluxo contínuo.

A opção schemaTrackingLocation é usada para especificar o caminho para o rastreamento do esquema, conforme mostrado no exemplo de código a seguir:

checkpoint_path = "/path/to/checkpointLocation"

(spark.readStream
  .option("schemaTrackingLocation", checkpoint_path)
  .table("delta_source_table")
  .writeStream
  .option("checkpointLocation", checkpoint_path)
  .toTable("output_table")
)

Desabilitar o mapeamento de coluna

No Databricks Runtime 15.3 e em versões posteriores, é possível usar o comando DROP FEATURE para remover o mapeamento de coluna de uma tabela e fazer downgrade do protocolo da tabela.

Consulte Remover os recursos da tabela Delta.