Connectez-vous à ADLS et transformez les données avec Azure Databricks
Dans ce guide, vous allez :
Créez une table Delta dans votre compte Azure Data Lake Storage (ADLS) Gen2 à l’aide d’Azure Databricks.
Créez un raccourci OneLake vers une table Delta dans ADLS.
Utilisez Power BI pour analyser les données via le raccourci ADLS.
Prérequis
Avant de commencer, vous devez avoir :
Un espace de travail avec un élément Lakehouse
Un espace de travail Azure Databricks
Un compte ADLS Gen2 pour stocker les tables Delta
Créez une table Delta, créez un raccourci et analysez les données
À l'aide d’un notebook Azure Databricks, créez une table Delta dans votre compte ADLS Gen2.
# Replace the path below to refer to your sample parquet data with this syntax "abfss://<storage name>@<container name>.dfs.core.windows.net/<filepath>" # Read Parquet files from an ADLS account df = spark.read.format('Parquet').load("abfss://datasetsv1@olsdemo.dfs.core.windows.net/demo/full/dimension_city/") # Write Delta tables to ADLS account df.write.mode("overwrite").format("delta").save("abfss://datasetsv1@olsdemo.dfs.core.windows.net/demo/adb_dim_city_delta/")
Dans votre lakehouse, sélectionnez les points de suspension (...) à côté de Tables, puis sélectionnez Nouveau raccourci.
Dans l'écran Nouveau raccourci, sélectionnez la vignette Azure Data Lake Storage Gen2.
Spécifiez les détails de connexion pour le raccourci, puis sélectionnez Suivant.
Spécifiez les détails du raccourci. Fournissez un Nom de raccourci et des détails de Sous-chemin, puis sélectionnez Créer. Le sous-chemin doit pointer vers le répertoire où se trouve la table Delta.
Le raccourci s’affiche sous forme de table Delta dans Tables.
Vous pouvez maintenant interroger ces données directement à partir d’un notebook.
df = spark.sql("SELECT * FROM lakehouse1.adls_shortcut_adb_dim_city_delta LIMIT 1000") display(df)
Pour accéder et analyser cette table Delta via Power BI, sélectionnez Nouveau modèle sémantique Power BI.
Sélectionnez le raccourci, puis sélectionnez Confirmer.
Lorsque les données sont publiées, sélectionnez Recommencer à zéro.
Dans l'expérience de création de rapports, les données de raccourci apparaissent sous forme de tableau avec tous leurs attributs.
Pour générer un rapport Power BI, faites glisser les attributs vers le volet sur le côté gauche.