Eseguire query federate in Microsoft Azure Synapse

Questo articolo descrive come set up Lakehouse Federation per eseguire query federate nei dati di Azure Synapse (SQL Data Warehouse) non gestiti da Azure Databricks. Per altre informazioni sulla federazione di lakehouse, si veda Che cos'è Lakehouse Federation?.

Per connettersi a un database di Azure Synapse (SQL Data Warehouse) tramite Lakehouse Federation, è necessario creare quanto segue nel metastore di Azure Databricks Unity Catalog:

• Connessione al database di Azure Synapse (SQL Data Warehouse).
• Un catalog esterno che rispecchia il database di Azure Synapse (SQL Data Warehouse) in Unity Catalog, permettendo di utilizzare la sintassi di query di Unity Catalog e gli strumenti di governance dei dati per gestire l'accesso degli utenti di Azure Databricks al database.

Operazioni preliminari

Requisiti dell'area di lavoro:

• Area di lavoro abilitata per Unity Catalog.

Requisiti dell’ambiente di calcolo:

• Connettività di rete dalla risorsa di calcolo ai sistemi di database di destinazione. Si veda Raccomandazioni di rete per Lakehouse Federation.
• Il calcolo di Azure Databricks deve utilizzare Databricks Runtime 13.3 LTS o versione successiva e la modalità di accesso condiviso o la modalità di accesso utente singolo .
• I warehouse SQL devono essere pro o serverless e devono usare la versione 2023.40 o successiva.

Autorizzazioni necessarie:

• Per creare una connessione, è necessario essere un amministratore del metastore o un utente con il privilegio CREATE CONNECTION per il metastore Unity Catalog associato all'area di lavoro.
• Per creare un catalogesterno, è necessario disporre dell'autorizzazione CREATE CATALOG per il metastore e essere il proprietario della connessione o avere il privilegio CREATE FOREIGN CATALOG per la connessione.

In ogni sezione basata su attività che segue vengono specificati requisiti di autorizzazione aggiuntivi.

Crea una connessione

Una connessione specifica un percorso e credentials per l'accesso a un sistema di database esterno. Per creare una connessione, è possibile usare Catalog Explorer o il comando SQL CREATE CONNECTION in un notebook di Azure Databricks o nell'editor di query SQL di Databricks.

Autorizzazioni necessarie: amministratore o utente metastore con il privilegio CREATE CONNECTION.

Catalog Esploratore

1. Nell'area di lavoro di Azure Databricks fare clic sull'icona Catalog.

2. Nella parte superiore del riquadro Catalog fare clic sull'icona Aggiungi o più Icona Aggiungi e selectAggiungi una connessione dal menu.

   In alternativa, dalla pagina di accesso rapido , fare clic sul pulsante Dati esterni >, passare alla scheda Connections e fare clic su Crea connessione.

3. Immettere un nome di connessione semplice.

4. Select un tipo di connessione di SQLDW.

5. Immettere le proprietà di connessione seguenti per l'istanza di Azure Synapse.

   • Host: ad esempio . sqldws-demo.database.windows.net
   • Porta: ad esempio 1433
   • trustServerCertificate: l'impostazione predefinita è false. Quando set a true, il livello di trasporto usa SSL per crittografare il canale e salta la catena di certificati per convalidare l'attendibilità. Lascia questa set predefinita, a meno che non sia necessario ignorare la convalida dell'attendibilità.
   • Utente
   • Password

6. (Facoltativo) Fare clic su Test connessione per verificare che funzioni.

7. (Facoltativo) Aggiungere un commento.

8. Cliccare su Crea.

SQL

Eseguire il seguente comando in un notebook o nell'editor di query SQL di Databricks.

CREATE CONNECTION <connection-name> TYPE sqldw
OPTIONS (
  host '<hostname>',
  port '<port>',
  user '<user>',
  password '<password>'
);

È consigliabile usare i segreti di Azure Databricks anziché le stringhe di testo non crittografato per values sensibili, ad esempio credentials. Ad esempio:

CREATE CONNECTION <connection-name> TYPE sqldw
OPTIONS (
  host '<hostname>',
  port '<port>',
  user secret ('<secret-scope>','<secret-key-user>'),
  password secret ('<secret-scope>','<secret-key-password>')
)

Per informazioni sulla configurazione dei segreti, vedere Gestione dei segreti.

Creare un catalog esterno

Un catalog esterno esegue il mirroring di un database in un sistema dati esterno in modo da poter eseguire query e gestire l'accesso ai dati in tale database usando Azure Databricks e Unity Catalog. Per creare un catalogesterno, utilizza una connessione all'origine dati già definita.

Per creare un catalogesterno, è possibile usare Catalog Explorer o il comando SQL CREATE FOREIGN CATALOG in un notebook di Azure Databricks o nell'editor di query SQL.

Autorizzazioni necessarie: autorizzazione CREATE CATALOG per il metastore e la proprietà della connessione o il privilegio CREATE FOREIGN CATALOG per la connessione.

Catalog Esploratore

1. Nell'area di lavoro di Azure Databricks fare clic sull'icona Catalog per aprire Esplora Catalog.

2. Nella parte superiore del riquadro Catalog fare clic sull'icona aggiungi o segno più icona Aggiungi e selectAggiungi una catalog dal menu.

   In alternativa, nella pagina accesso rapido fare clic sul pulsante Catalogs e quindi sul pulsante Crea catalog.

3. Seguire le istruzioni per la creazione di catalogs esterne in Creare catalogs.

SQL

Eseguire il seguente comando SQL in un notebook o nell'editor di query SQL. Gli elementi tra parentesi sono facoltativi. Sostituire il segnaposto values:

• <catalog-name>: nome per il catalog in Azure Databricks.
• <connection-name>: L'oggetto di connessione che specifica l'origine dati, il percorso e l'accesso credentials.
• <database-name>: nome del database di cui si vuole eseguire il mirroring come catalog in Azure Databricks.

CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>
OPTIONS (database '<database-name>');

Pushdown supportati

Sono supportati i seguenti pushdown:

• Filtri
• Proiezioni
• Limit
• Aggregates (Average, Count, Max, Min, StddevPop, StddevSamp, Sum, VarianceSamp)
• Funzioni (aritmetica e altre funzioni varie, ad esempio Alias, Cast, SortOrder)
• Ordinamento

Non sono supportati i seguenti pushdown:

• Join
• Funzioni finestra

Mapping di tipi di dati

Quando si legge da Synapse/SQL Data Warehouse a Spark, i tipi di dati vengono mappati nel modo seguente:

*Quando si legge da Synapse/SQL Data Warehouse (SQLDW), SQLDW datetimes viene mappato a Spark TimestampType se preferTimestampNTZ = false (impostazione predefinita). SqlDW datetimes viene mappato a TimestampNTZType se preferTimestampNTZ = true.