Conecte-se ao ADLS e transforme os dados com o Azure Databricks

Artigo
12/06/2023

Neste guia, você irá:

Crie uma tabela Delta na sua conta do Azure Data Lake Storage (ADLS) Gen2 usando o Azure Databricks.
Crie um atalho OneLake para uma tabela Delta no ADLS.
Use o Power BI para analisar dados por meio do atalho ADLS.

Pré-requisitos

Antes de começar, você deve ter:

Um espaço de trabalho com um item Lakehouse
Um espaço de trabalho do Azure Databricks
Uma conta ADLS Gen2 para armazenar tabelas Delta

Criar uma tabela Delta, criar um atalho e analisar os dados

Usando um bloco de anotações do Azure Databricks, crie uma tabela Delta em sua conta ADLS Gen2.

 # Replace the path below to refer to your sample parquet data with this syntax "abfss://<storage name>@<container name>.dfs.core.windows.net/<filepath>"

 # Read Parquet files from an ADLS account
 df = spark.read.format('Parquet').load("abfss://datasetsv1@olsdemo.dfs.core.windows.net/demo/full/dimension_city/")

 # Write Delta tables to ADLS account
 df.write.mode("overwrite").format("delta").save("abfss://datasetsv1@olsdemo.dfs.core.windows.net/demo/adb_dim_city_delta/")

Na casa do lago, selecione as reticências (...) ao lado de Tabelas e, em seguida, selecione Novo atalho.
Na tela Novo atalho, selecione o bloco Azure Data Lake Storage Gen2.
Especifique os detalhes da conexão para o atalho e selecione Avançar.
Especifique os detalhes do atalho. Forneça um Nome de Atalho e detalhes do Subcaminho e selecione Criar. O subcaminho deve apontar para o diretório onde a tabela Delta reside.
O atalho aparece como uma tabela Delta em Tabelas.

Agora você pode consultar esses dados diretamente de um bloco de anotações.

df = spark.sql("SELECT * FROM lakehouse1.adls_shortcut_adb_dim_city_delta LIMIT 1000")
display(df)

Para aceder e analisar esta tabela Delta através do Power BI, selecione Novo modelo semântico do Power BI.
Selecione o atalho e, em seguida, selecione Confirmar.
Quando os dados forem publicados, selecione Iniciar do zero.
Na experiência de criação de relatório, os dados de atalho aparecem como uma tabela junto com todos os seus atributos.
Para criar um relatório do Power BI, arraste os atributos para o painel no lado esquerdo.