Eseguire query federate in Google BigQuery

Questo articolo descrive come set up Lakehouse Federation per eseguire query federate sui dati BigQuery non gestiti da Azure Databricks. Per altre informazioni sulla federazione di lakehouse, si veda Che cos'è Lakehouse Federation?.

Per connettersi al database BigQuery tramite Lakehouse Federation, è necessario creare quanto segue nel metastore di Azure Databricks Unity Catalog:

• Connessione al database BigQuery.
• Un catalog esterno che rispecchia il database BigQuery in Unity Catalog, in modo da poter usare la sintassi delle query di Unity Catalog e gli strumenti di governance dei dati per gestire l'accesso degli utenti di Azure Databricks al database.

Operazioni preliminari

Requisiti dell'area di lavoro:

• Area di lavoro abilitata per Unity Catalog.

Requisiti dell’ambiente di calcolo:

• Connettività di rete dal cluster Databricks Runtime o dal warehouse SQL ai sistemi di database di destinazione. Si veda Raccomandazioni di rete per Lakehouse Federation.
• I cluster di Azure Databricks devono usare Databricks Runtime 16.1 o versione successiva e la modalità di accesso condiviso o singolo utente.
• I warehouse SQL devono essere Pro o Serverless.

Autorizzazioni necessarie:

• Per creare una connessione, è necessario essere un amministratore del metastore o un utente con il privilegio CREATE CONNECTION sul metastore Unity Catalog collegato all'area di lavoro.
• Per creare un catalogesterno, è necessario disporre dell'autorizzazione CREATE CATALOG nel metastore ed essere il proprietario della connessione o avere il privilegio CREATE FOREIGN CATALOG sulla connessione.

In ogni sezione basata su attività che segue vengono specificati requisiti di autorizzazione aggiuntivi.

Crea una connessione

Una connessione specifica un percorso e credentials per l'accesso a un sistema di database esterno. Per creare una connessione, è possibile usare Catalog Explorer o il comando SQL CREATE CONNECTION in un notebook di Azure Databricks o nell'editor di query SQL di Databricks.

Autorizzazioni necessarie: amministratore o utente metastore con il privilegio CREATE CONNECTION.

Catalog Explorer

1. Nell'area di lavoro di Azure Databricks fare clic sull'icona Catalog.

2. Nella parte superiore del riquadro Catalog fare clic sull'icona Aggiungi o più Icona Aggiungi e selectAggiungi una connessione dal menu.

   In alternativa, nella pagina accesso rapido, fare clic sul pulsante Dati esterni >, andare alla scheda Connections e fare clic su Crea connessione.

3. Nella pagina informazioni di base sulla connessione della procedura guidata Set per l'impostazione della connessione, immettere un nome di connessione intuitivo.

4. Select un tipo di connessione di Google BigQuery, quindi clicca su Avanti.

5. Nella pagina autenticazione immettere il json della chiave dell'account del servizio Google per l'istanza di BigQuery.

   Si tratta di un oggetto JSON non elaborato usato per specificare il progetto BigQuery e fornire l'autenticazione. È possibile generate questo oggetto JSON e scaricarlo dalla pagina dei dettagli dell'account del servizio in Google Cloud in "KEYS". L'account del servizio deve disporre delle autorizzazioni appropriate concesse in BigQuery, inclusi l'utente BigQuery e il Visualizzatore dati BigQuery. Di seguito viene riportato un esempio.

   {
     "type": "service_account",
     "project_id": "PROJECT_ID",
     "private_key_id": "KEY_ID",
     "private_key": "PRIVATE_KEY",
     "client_email": "SERVICE_ACCOUNT_EMAIL",
     "client_id": "CLIENT_ID",
     "auth_uri": "https://accounts.google.com/o/oauth2/auth",
     "token_uri": "https://accounts.google.com/o/oauth2/token",
     "auth_provider_x509_cert_url": "https://www.googleapis.com/oauth2/v1/certs",
     "client_x509_cert_url": "https://www.googleapis.com/robot/v1/metadata/x509/SERVICE_ACCOUNT_EMAIL",
     "universe_domain": "googleapis.com"
   }
   

6. (Facoltativo) Immettere il ID progetto per l'istanza di BigQuery:

   Si tratta di un nome per il progetto BigQuery usato per la fatturazione per tutte le query eseguite in questa connessione. L'impostazione predefinita è l'ID progetto dell'account del servizio.

7. (Facoltativo) Aggiungere un commento.

8. Fare clic su Crea connessione.

9. Nella pagina Catalog informazioni di base, immettere un nome per catalogstraniero. Un catalog esterno esegue il mirroring di un database in un sistema dati esterno in modo da poter eseguire query e gestire l'accesso ai dati in tale database usando Azure Databricks e Unity Catalog.

10. (Facoltativo) Fare clic su Test connessione per verificare che funzioni.

11. Fare clic su Crea catalog.

12. Nella pagina Accessselect le aree di lavoro in cui gli utenti possono accedere alle catalog create. È possibile selectTutte le aree di lavoro hanno accessooppure fare clic su Assegna alle aree di lavoro, select le aree di lavoro e quindi fare clic su Assegna.

13. Cambiare il proprietario che sarà in grado di gestire l'accesso a tutti gli oggetti nel catalog. Iniziare a digitare un'entità nella casella di testo e quindi fare clic sull'entità nei risultati restituiti.

14. Grant privilegi nel catalog. Fare clic su Grant:

    1. Specificare i Principals che avranno accesso agli oggetti nel catalog. Iniziare a digitare un'entità nella casella di testo e quindi fare clic sull'entità nei risultati restituiti.
    2. Select i set di impostazioni dei privilegi per grant a ogni entità. A tutti gli utenti dell'account è assegnato per impostazione predefinita BROWSE.
       • Select lettura dei dati dal menu a discesa per assegnare grantread privilegi sugli oggetti nel catalog.
       • Select Editor di Dati dal menu a discesa a grantread e modify privilegi sugli oggetti nel catalog.
       • select manualmente i privilegi per grant.
    3. Fare clic su Grant.

15. Fare clic su Avanti.

16. Nella Pagina Metadati, specificare le coppie chiave-valore dei tag. Per ulteriori informazioni, vedere Applicare tag agli oggetti proteggibili di Unity Catalog.

17. (Facoltativo) Aggiungere un commento.

18. Fare clic su Salva.

SQL

Eseguire il seguente comando in un notebook o nell'editor di query SQL di Databricks. Sostituire <GoogleServiceAccountKeyJson> con un oggetto JSON non elaborato che specifica il progetto BigQuery e fornisce l'autenticazione. È possibile generate questo oggetto JSON e scaricarlo dalla pagina dei dettagli dell'account del servizio in Google Cloud in "KEYS". L'account del servizio deve disporre delle autorizzazioni appropriate concesse in BigQuery, inclusi l'utente BigQuery e il Visualizzatore dati BigQuery. Per un esempio di oggetto JSON, visualizzare la scheda Catalog Explorer in questa pagina.

CREATE CONNECTION <connection-name> TYPE bigquery
OPTIONS (
  GoogleServiceAccountKeyJson '<GoogleServiceAccountKeyJson>'
);

È consigliabile usare i segreti di Azure Databricks anziché le stringhe di testo non crittografato per values sensibili, ad esempio credentials. Ad esempio:

CREATE CONNECTION <connection-name> TYPE bigquery
OPTIONS (
  GoogleServiceAccountKeyJson secret ('<secret-scope>','<secret-key-user>')
)

Per informazioni sulla configurazione dei segreti, vedere Gestione dei segreti.

Creare un catalog esterno

Un catalog esterno esegue il mirroring di un database in un sistema dati esterno in modo da poter eseguire query e gestire l'accesso ai dati in tale database usando Azure Databricks e Unity Catalog. Per creare un catalogesterno, usare una connessione all'origine dati già definita.

Per creare un catalogesterno, puoi utilizzare Catalog Explorer o CREATE FOREIGN CATALOG in un notebook di Azure Databricks oppure nell'editor di query SQL di Databricks. È anche possibile usare l'API REST di Databricks o il CLI di Databricks per creare un catalog. Vedere POST /api/2.1/unity-catalog/catalogs o comandi di Unity Catalog.

Autorizzazioni necessarie: autorizzazione CREATE CATALOG per il metastore e la proprietà della connessione o il privilegio CREATE FOREIGN CATALOG per la connessione.

Catalog Explorer

1. Nell'area di lavoro di Azure Databricks fare clic sull'icona Catalog per aprire Esplora Catalog.

2. Nella parte superiore del riquadro Catalog fare clic sull'icona aggiungi o segno più icona Aggiungi e selectAggiungi una catalog dal menu.

   In alternativa, sulla pagina di accesso rapido , fare clic sul pulsante Catalogs e quindi sul pulsante Crea catalog.

3. (Facoltativo) Immettere la proprietà catalog seguente:

   ID del progetto dati: un nome per il progetto BigQuery contenente i dati che verranno mappati su questo catalog. Per impostazione predefinita, l'ID del progetto di fatturazione è set a livello della connessione.

4. Seguire le istruzioni per la creazione delle catalogs esterne in Creare catalogs.

SQL

Eseguire il seguente comando SQL in un notebook o nell'editor Databricks SQL. Gli elementi tra parentesi sono facoltativi. Sostituire il segnaposto values.

• <catalog-name>: nome del catalog in Azure Databricks.
• <connection-name>: l'oggetto di connessione che specifica l'origine dei dati, il percorso e l'accesso credentials.

CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>;

Pushdown supportati

Sono supportati i seguenti pushdown:

• Filtri
• Proiezioni
• Limit
• Funzioni: parziale, solo per le espressioni di filtro. (Funzioni stringa, Funzioni matematiche, Dati, Time e Timestamp e altre funzioni varie, ad esempio Alias, Cast, SortOrder)
• Aggregazioni
• Ordinamento, se usato con limit
• Join (Databricks Runtime 16.1 o versione successiva)

Non sono supportati i seguenti pushdown:

• Funzioni finestra

Mapping di tipi di dati

Il seguente table mostra il mapping dei tipi di dati da BigQuery a Spark.

Quando si legge da BigQuery, Timestamp BigQuery viene mappato a TimestampType Spark se preferTimestampNTZ = false (impostazione predefinita). Viene eseguito il mapping di Timestamp BigQuery a TimestampNTZType se preferTimestampNTZ = true.