Eseguire query federate in Snowflake

Questo articolo descrive come configurare Lakehouse Federation per eseguire query federate sui dati Snowflake non gestiti da Azure Databricks. Per altre informazioni sulla federazione di lakehouse, si veda Che cos'è Lakehouse Federation?.

Per connettersi al database Snowflake usando Lakehouse Federation, è necessario creare quanto segue nel metastore del catalogo unity di Azure Databricks:

• Connessione al database Snowflake.
• Catalogo esterno che rispecchia il database Snowflake in Unity Catalog in modo che sia possibile usare la sintassi delle query di Unity Catalog e gli strumenti di governance dei dati per gestire l'accesso degli utenti di Azure Databricks al database.

Operazioni preliminari

Requisiti dell'area di lavoro:

• Area di lavoro abilitata per il catalogo Unity

Requisiti dell’ambiente di calcolo:

• Connettività di rete dal cluster Databricks Runtime o dal warehouse SQL ai sistemi di database di destinazione. Si veda Raccomandazioni di rete per Lakehouse Federation.
• I cluster di Azure Databricks devono usare Databricks Runtime 13.3 LTS o versione successiva e la modalità di accesso condiviso o utente singolo.
• I warehouse SQL devono essere Pro o Serverless e devono usare la versione 2023.40 o successiva.

Autorizzazioni necessarie:

• Per creare una connessione, è necessario essere un amministratore del metastore o un utente con il privilegio CREATE CONNECTIONper il metastore del catalogo Unity collegato all'area di lavoro.
• Per creare un catalogo esterno, è necessario disporre dell'autorizzazione CREATE CATALOG per il metastore e essere il proprietario della connessione o avere il privilegio CREATE FOREIGN CATALOG per la connessione.

In ogni sezione basata su attività che segue vengono specificati requisiti di autorizzazione aggiuntivi.

• Se si prevede di eseguire l'autenticazione con OAuth, creare un'integrazione della sicurezza nella console snowflake. Per informazioni dettagliate, vedere la sezione seguente.

(Facoltativo) Creare un'integrazione della sicurezza nella console snowflake

Se si vuole eseguire l'autenticazione con OAuth, seguire questo passaggio prima di creare una connessione Snowflake. Per eseguire l'autenticazione usando invece un nome utente e una password, ignorare questa sezione.

Nella console Snowflake eseguire CREATE SECURITY INTEGRATION. Sostituire i valori seguenti:

• <integration-name>: nome univoco per l'integrazione OAuth.

• <workspace-url>: URL dell'area di lavoro di Azure Databricks. È necessario impostare su OAUTH_REDIRECT_URI https://<workspace-url>/login/oauth/snowflake.html, dove <workspace-url> è l'URL univoco dell'area di lavoro di Azure Databricks in cui si creerà la connessione Snowflake.

• <duration-in-seconds>: intervallo di tempo per i token di aggiornamento.

  Importante

  OAUTH_REFRESH_TOKEN_VALIDITY è un campo personalizzato impostato su 90 giorni per impostazione predefinita. Dopo la scadenza del token di aggiornamento, è necessario autenticare nuovamente la connessione. Impostare il campo su un intervallo di tempo ragionevole.

CREATE SECURITY INTEGRATION <integration-name>
TYPE = oauth
ENABLED = true
OAUTH_CLIENT = custom
OAUTH_CLIENT_TYPE = 'CONFIDENTIAL'
OAUTH_REDIRECT_URI = 'https://<workspace-url>/login/oauth/snowflake.html'
OAUTH_ISSUE_REFRESH_TOKENS = TRUE
OAUTH_REFRESH_TOKEN_VALIDITY = <duration-in-seconds>
OAUTH_ENFORCE_PKCE = TRUE;

Crea una connessione

Una connessione specifica un percorso e le credenziali per accedere a un sistema di database esterno. Per creare una connessione, è possibile usare Esplora cataloghi o il comando SQL CREATE CONNECTION in un notebook di Azure Databricks o nell'editor di query SQL di Databricks.

Autorizzazioni necessarie: amministratore o utente metastore con il privilegio CREATE CONNECTION.

Esplora cataloghi

1. Nell'area di lavoro di Azure Databricks fare clic su Catalogo.

2. Nella parte superiore del riquadro Catalogo fare clic sull'icona Aggiungi e selezionare Aggiungi una connessione dal menu.

   In alternativa, nella pagina Accesso rapido fare clic sul pulsante > Dati esterni, passare alla scheda Connessioni e fare clic su Crea connessione.

3. Immettere un nome di connessione semplice.

4. Selezionare un tipo di connessione di Snowflake.

5. Immettere le proprietà di connessione seguenti per il magazzino Snowflake.

   • Tipo di autenticazione: OAuth o Username and password
   • Host: ad esempio, snowflake-demo.east-us-2.azure.snowflakecomputing.com
   • Porta: ad esempio 443
   • Magazzino Snowflake: ad esempio, my-snowflake-warehouse
   • Utente: ad esempio snowflake-user
   • (OAuth) ID client: nella console Snowflake eseguire SELECT SYSTEM$SHOW_OAUTH_CLIENT_SECRETS('<security_integration_name>') per recuperare l'ID client per l'integrazione della sicurezza.
   • (OAuth): segreto client: nella console Snowflake eseguire SELECT SYSTEM$SHOW_OAUTH_CLIENT_SECRETS('<security_integration_name>') per recuperare il segreto client per l'integrazione della sicurezza.
   • (OAuth) Ambito client: refresh_token session:role:<role-name>. Specificare il ruolo Snowflake da usare in <role-name>.
   • (Nome utente e password) Password: ad esempio, password123

   (OAuth) Viene richiesto di accedere a Snowflake usando le credenziali OAuth.

6. (Facoltativo) Fare clic su Test connessione per verificare che funzioni.

7. (Facoltativo) Aggiungere un commento.

8. Cliccare su Crea.

SQL

Eseguire il seguente comando in un notebook o nell'editor di query SQL di Databricks.

CREATE CONNECTION <connection-name> TYPE snowflake
OPTIONS (
  host '<hostname>',
  port '<port>',
  sfWarehouse '<warehouse-name>',
  user '<user>',
  password '<password>'
);

Consigliamo di usare segreti di Azure Databricks anziché stringhe di testo non crittografato per valori sensibili come le credenziali. Ad esempio:

CREATE CONNECTION <connection-name> TYPE snowflake
OPTIONS (
  host '<hostname>',
  port '<port>',
  sfWarehouse '<warehouse-name>',
  user secret ('<secret-scope>','<secret-key-user>'),
  password secret ('<secret-scope>','<secret-key-password>')
)

Per informazioni sulla configurazione dei segreti, vedere Gestione dei segreti.

Creare un catalogo esterno

Un catalogo esterno esegue il mirroring di un database in un sistema di dati esterno in modo da poter eseguire query e gestire l'accesso ai dati in tale database usando Azure Databricks e catalogo Unity. Per creare un catalogo esterno, usare una connessione all'origine dati già definita.

Per creare un catalogo esterno, è possibile usare Esplora cataloghi o il comando SQL CREATE FOREIGN CATALOG in un notebook di Azure Databricks o nell'editor di query SQL.

Autorizzazioni necessarie: autorizzazione CREATE CATALOG per il metastore e la proprietà della connessione o il privilegio CREATE FOREIGN CATALOG per la connessione.

Esplora cataloghi

1. Nell'area di lavoro di Azure Databricks fare clic su Catalogo per aprire Esplora cataloghi.

2. Nella parte superiore del riquadro Catalogo fare clic sull'icona Aggiungi e selezionare Aggiungi un catalogo dal menu.

   In alternativa, nella pagina Accesso rapido fare clic sul pulsante Cataloghi e quindi sul pulsante Crea catalogo.

3. Seguire le istruzioni per la creazione di cataloghi stranieri in Creare cataloghi.

SQL

Eseguire il seguente comando SQL in un notebook o nell'editor di query SQL. Gli elementi tra parentesi sono facoltativi. Sostituire i valori segnaposto;

• <catalog-name>: nome del catalogo in Azure Databricks.
• <connection-name>: oggetto connessione che specifica l'origine dati, il percorso e le credenziali di accesso.
• <database-name>: nome del database di cui si vuole eseguire il mirroring come catalogo in Azure Databricks.

CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>
OPTIONS (database '<database-name>');

Identificatori di database con distinzione tra maiuscole e minuscole

Il database campo del catalogo esterno esegue il mapping a un identificatore di database Snowflake. Se l'identificatore di database Snowflake non fa distinzione tra maiuscole e minuscole, la combinazione di maiuscole e minuscole usata nel catalogo <database-name> esterno viene mantenuta. Tuttavia, se l'identificatore di database Snowflake fa distinzione tra maiuscole e minuscole, è necessario eseguire il wrapping del catalogo <database-name> esterno tra virgolette doppie per mantenere la distinzione tra maiuscole e minuscole.

Ad esempio:

• database viene convertito in DATABASE

• "database" viene convertito in database

• "database""" viene convertito in database"

  Per eseguire l'escape di una virgoletta doppia, usare un'altra virgoletta doppia.

• "database"" restituisce un errore perché la virgoletta doppia non è preceduta correttamente da escape.

Per altre informazioni, vedere Requisiti dell'identificatore nella documentazione di Snowflake.

Pushdown supportati

Sono supportati i seguenti pushdown:

• Filtri
• Proiezioni
• Limite
• Join
• Aggregates (Average, Corr, CovPopulation, CovSample, Count, Max, Min, StddevPop, StddevSamp, Sum, VariancePop, VarianceSamp)
• Funzioni (funzioni stringhe, funzioni matematiche, dati, tempo e timestamp e altre funzioni varie, ad esempio Alias, Cast, SortOrder)
• Funzioni di Windows (DenseRank, Rank, RowNumber)
• Ordinamento

Mapping di tipi di dati

Quando si legge da Snowflake a Spark, i tipi di dati vengono mappati nel modo seguente:

Limitazioni di OAuth

Di seguito sono riportate le limitazioni del supporto di OAuth:

• L'endpoint OAuth snowflake deve essere accessibile dagli indirizzi IP del piano di controllo di Databricks. Vedere In uscita dal piano di controllo di Azure Databricks. Snowflake supporta la configurazione dei criteri di rete a livello di integrazione della sicurezza, che consente criteri di rete separati che consentono la connettività diretta dal piano di controllo Databricks all'endpoint OAuth per l'autorizzazione.
• Le opzioni di configurazione del ruolo Proxy, Host proxy, Porta proxy e Snowflake non sono supportate. Specificare il ruolo Snowflake come parte dell'ambito OAuth.

Risorse aggiuntive

• Configurare Snowflake OAuth per i client personalizzati nella documentazione di Snowflake
• Informazioni di riferimento su SQL: CREATE SECURITY INTEGRATION (Snowflake OAuth) nella documentazione di Snowflake