Lavorare con Unity Catalog e il metastore Hive legacy

Questo articolo illustra un approccio per continuare a utilizzare il metastore Hive specifico per area di lavoro quando lo spazio di lavoro di Azure Databricks è abilitato per Unity Catalog.

Se l'area di lavoro era nel servizio prima che fosse abilitata per Unity Catalog, è probabile che abbia un metastore Hive predefinito che contiene dati che si desidera continuare a usare. Databricks consiglia di usare federazione metastore Hive per creare un catalogo federato in Unity Catalog che rispecchia il metastore Hive ed eventualmente eseguire la migrazione di tutti i carichi di lavoro legacy per usare tale catalogo federato. Tuttavia, se non è ancora stato avviato il processo di federazione del metastore Hive, è possibile usare questo articolo per informazioni su come usare i dati registrati nel metastore Hive legacy insieme ai dati registrati in Unity Catalog.

Eseguire una query sul metastore Hive nel catalogo unity

Il metastore del catalogo Unity è aggiuntivo, ovvero può essere usato con il metastore Hive per area di lavoro in Azure Databricks. Il metastore Hive viene visualizzato come catalogo di primo livello denominato hive_metastore nello spazio dei nomi a tre livelli.

Ad esempio, è possibile fare riferimento a una tabella denominata sales_raw nello sales schema nel metastore Hive legacy usando la notazione seguente:

SQL

SELECT * from hive_metastore.sales.sales_raw;

Python

display(spark.table("hive_metastore.sales.sales_raw"))

R

library(SparkR)

display(tableToDF("hive_metastore.sales.sales_raw"))

Scala

display(spark.table("hive_metastore.sales.sales_raw"))

È anche possibile specificare il catalogo e lo schema con un'istruzione USE :

SQL

USE hive_metastore.sales;
SELECT * from sales_raw;

Python

spark.sql("USE hive_metastore.sales")
display(spark.table("sales_raw"))

R

library(SparkR)

sql("USE hive_metastore.sales")
display(tableToDF("sales_raw"))

Scala

spark.sql("USE hive_metastore.sales")
display(spark.table("sales_raw"))

Controllo di accesso nel catalogo unity e nel metastore Hive

Se è stato configurato controllo di accesso alla tabella legacy nel metastore Hive, Databricks continua a applicare tali controlli di accesso per i dati nel catalogo hive_metastore per i cluster in esecuzione nella modalità di accesso condiviso. Il modello di accesso al catalogo Unity differisce leggermente dai controlli di accesso legacy, ad esempio nessuna DENY istruzione. Il metastore Hive è un oggetto a livello di area di lavoro. Le autorizzazioni definite all'interno del hive_metastore catalogo fanno sempre riferimento agli utenti e ai gruppi locali nell'area di lavoro. Vedere Il modello di privilegi del catalogo Unity rispetto al controllo di accesso alle tabelle legacy.

Il modello di privilegi del catalogo Unity rispetto al controllo di accesso alle tabelle legacy

Il modello di controllo di accesso in Unity Catalog si differenzia nei seguenti modi rispetto al controllo degli accessi alle tabelle nel metastore Hive legacy:

• Gruppi di account: i criteri di controllo di accesso nel catalogo Unity vengono applicati ai gruppi di account, mentre i criteri di controllo di accesso per il metastore Hive vengono applicati ai gruppi locali dell'area di lavoro. Vedi Tipi di gruppi in Azure Databricks.
• USE CATALOG Le autorizzazioni e USE SCHEMA sono necessarie per il catalogo e lo schema per tutte le operazioni sugli oggetti all'interno del catalogo o dello schema: indipendentemente dai privilegi di un'entità in una tabella, l'entità deve avere anche il privilegio per il USE CATALOG catalogo padre di accedere allo schema e al USE SCHEMA privilegio di accedere agli oggetti all'interno dello schema. Con i controlli di accesso alle tabelle a livello di area di lavoro, d'altra parte, la concessione USAGE sul catalogo principale concede USAGE automaticamente su tutti i database, ma USAGE sul catalogo principale non è necessaria.
• Viste: nel catalogo Unity il proprietario di una vista non deve essere un proprietario delle tabelle e delle viste a cui fa riferimento la vista. Avere il SELECT privilegio è sufficiente, insieme USE SCHEMA allo schema padre delle viste e USE CATALOG al catalogo padre. Con i controlli di accesso alla tabella a livello di area di lavoro, il proprietario di una vista deve essere proprietario di tutte le tabelle e le viste a cui si fa riferimento.
• Nessun supporto per ANY FILE o ANONYMOUS FUNCTION: in Unity Catalog non esiste alcun concetto di ANY FILE entità a protezione diretta o ANONYMOUS FUNCTION che potrebbe consentire a un utente senza privilegi di eseguire codice con privilegi.
• Nessun READ_METADATA privilegio: Il catalogo unity gestisce l'accesso per visualizzare i metadati in modo diverso. Vedere Privilegi del catalogo Unity e oggetti a protezione diretta.

Join tra oggetti del metastore Unity e Hive

Usando la notazione dello spazio dei nomi a tre livelli, è possibile unire i dati in un metastore di Unity Catalog con i dati nel metastore Hive legacy.

L'esempio seguente unisce i risultati della sales_current tabella nel metastore Hive legacy con la sales_historical tabella nel metastore del catalogo Unity quando i order_id campi sono uguali.

SQL

SELECT * FROM hive_metastore.sales.sales_current
JOIN main.shared_sales.sales_historical
ON hive_metastore.sales.sales_current.order_id = main.shared_sales.sales_historical.order_id;

Python

dfCurrent = spark.table("hive_metastore.sales.sales_current")
dfHistorical = spark.table("main.shared_sales.sales_historical")

display(dfCurrent.join(
  other = dfHistorical,
  on = dfCurrent.order_id == dfHistorical.order_id
))

R

library(SparkR)

dfCurrent = tableToDF("hive_metastore.sales.sales_current")
dfHistorical = tableToDF("main.shared_sales.sales_historical")

display(join(
  x = dfCurrent,
  y = dfHistorical,
  joinExpr = dfCurrent$order_id == dfHistorical$order_id))

Scala

val dfCurrent = spark.table("hive_metastore.sales.sales_current")
val dfHistorical = spark.table("main.shared_sales.sales_historical")

display(dfCurrent.join(
  right = dfHistorical,
  joinExprs = dfCurrent("order_id") === dfHistorical("order_id")
))

Catalogo predefinito

Per ogni area di lavoro abilitata per Il catalogo Unity è configurato un catalogo predefinito.

Se si omette il nome del catalogo di primo livello quando si eseguono operazioni sui dati, viene utilizzato il catalogo predefinito.

Il catalogo predefinito configurato inizialmente per l'area di lavoro dipende dal modo in cui l'area di lavoro è stata abilitata per il catalogo Unity:

• Se l'area di lavoro è stata abilitata automaticamente per Unity Catalog, il catalogo dell'area di lavoro è stato impostato come catalogo predefinito. Consultare Abilitazione automatica di Unity Catalog.
• Se l'area di lavoro è stata abilitata manualmente per Unity Catalog, il hive_metastore catalogo è stato impostato come catalogo predefinito.

Se si esegue la transizione dal metastore Hive al catalogo Unity all'interno di un'area di lavoro esistente, è opportuno usare hive_metastore come catalogo predefinito per evitare di influire sul codice esistente che fa riferimento al metastore Hive, a meno che non si sia completamente migrati dal metastore Hive.

Per informazioni su come ottenere e cambiare il catalogo predefinito, vedere Gestire il catalogo predefinito

Autorizzazioni di accesso ai dati con ambito cluster

Quando si usa il metastore Hive insieme a Unity Catalog, le credenziali di accesso ai dati associate al cluster vengono usate per accedere ai dati del metastore Hive, ma non ai dati registrati in Unity Catalog.

Se gli utenti accedono ai percorsi esterni a Unity Catalog ,ad esempio un percorso non registrato come tabella o posizione esterna, vengono usate le credenziali di accesso assegnate al cluster.

Vedere Connettersi a Azure Data Lake Storage Gen2 e Archiviazione BLOB.

Aggiornare le tabelle legacy a Unity Catalog

Le tabelle nel metastore Hive non traggono vantaggio dal set completo di funzionalità di sicurezza e governance introdotte da Unity Catalog, come l'audit integrato, la tracciabilità e il controllo degli accessi. Databricks consiglia di usare la federazione del metastore Hive per migrare i dati registrati nel metastore Hive nel Catalogo Unity, o per aggiornare le tabelle legacy direttamente aggiungendole al Catalogo Unity.