Monitorare l'utilizzo con i tag
Per monitorare i costi e attribuire con precisione l'utilizzo di Azure Databricks alle business unit e ai team dell'organizzazione (ad esempio, per i chargeback), è possibile contrassegnare le aree di lavoro (gruppi di risorse) e le risorse di calcolo. Questi tag vengono propagati ai report di analisi dei costi dettagliati a cui è possibile accedere nel portale di Azure.
Nota: i dati dei tag possono essere replicati a livello globale. Non usare nomi di tag o valori che potrebbero compromettere la sicurezza delle risorse. Ad esempio, non usare nomi di tag che contengono informazioni personali o riservate.
Di seguito è riportato un report dei dettagli della fattura di analisi dei costi nel portale di Azure che descrive in dettaglio il costo in base al clusterid tag in un periodo di un mese:
Risorse e oggetti con tag
| Object | Interfaccia di assegnazione di tag | Interfaccia di assegnazione di tag (API) |
|---|---|---|
| Area di lavoro | Portale di Azure | API risorse di Azure |
| Pool | Interfaccia utente dei pool nell'area di lavoro di Azure Databricks | API pool di istanze |
| Calcolo di tutti gli scopi e processi | Interfaccia utente di calcolo nell'area di lavoro di Azure Databricks | API per cluster |
| Warehouse SQL | Interfaccia utente di SQL Warehouse nell'area di lavoro di Azure Databricks | Warehouses API |
Avviso
Non assegnare un tag personalizzato con la chiave Name a un cluster. Ogni cluster ha un tag Name il cui valore è impostato da Azure Databricks. Se si modifica il valore associato alla chiave Name, il cluster non può più essere rilevato da Azure Databricks. Di conseguenza, il cluster potrebbe non essere terminato dopo essere diventato inattiva e continuerà a comportare costi di utilizzo.
Tag predefiniti
Azure Databricks aggiunge i tag predefiniti seguenti al calcolo all-purpose:
| Tasto tag | Valore |
|---|---|
Vendor |
Valore costante: Databricks |
ClusterId |
ID interno di Azure Databricks del cluster |
ClusterName |
Nome del cluster |
Creator |
Nome utente (indirizzo di posta elettronica) dell'utente che ha creato il cluster |
Nei cluster di processo, Azure Databricks applica anche i tag predefiniti seguenti:
| Tasto tag | Valore |
|---|---|
RunName |
Nome processo |
JobId |
ID processo |
Azure Databricks aggiunge i tag predefiniti seguenti a tutti i pool:
| Tasto tag | Valore |
|---|---|
Vendor |
Valore costante: Databricks |
DatabricksInstancePoolCreatorId |
ID interno di Azure Databricks dell'utente che ha creato il pool |
DatabricksInstancePoolId |
ID interno di Azure Databricks del pool |
Nel calcolo usato da Lakehouse Monitoring, Azure Databricks applica anche i tag seguenti:
| Tasto tag | Valore |
|---|---|
LakehouseMonitoring |
true |
LakehouseMonitoringTableId |
ID della tabella monitorata |
LakehouseMonitoringWorkspaceId |
ID dell'area di lavoro in cui è stato creato il monitoraggio |
LakehouseMonitoringMetastoreId |
ID del metastore in cui esiste la tabella monitorata |
Assegnazione di tag ai carichi di lavoro di calcolo serverless
Per attribuire l'utilizzo di calcolo serverless a utenti, gruppi o progetti, è possibile usare i criteri di budget. Quando a un utente viene assegnato un criterio di budget, l'utilizzo serverless viene contrassegnato automaticamente con i tag dei criteri. Vedere Utilizzo serverless degli attributi con criteri di budget.
Propagazione tag
I tag dell'area di lavoro, del pool e del cluster vengono aggregati da Azure Databricks e propagati alle macchine virtuali di Azure per la creazione di report di analisi dei costi. Ma i tag del pool e del cluster vengono propagati in modo diverso l'uno dall'altro.
I tag dell'area di lavoro e del pool vengono aggregati e assegnati come tag di risorsa delle macchine virtuali di Azure che ospitano i pool.
I tag dell'area di lavoro e del cluster vengono aggregati e assegnati come tag di risorsa delle macchine virtuali di Azure che ospitano i cluster.
Quando i cluster vengono creati dai pool, solo i tag dell'area di lavoro e i tag del pool vengono propagati alle macchine virtuali. I tag del cluster non vengono propagati per mantenere le prestazioni di avvio del cluster del pool.
Risoluzione dei conflitti di tag
Se un tag del cluster personalizzato, un tag del pool o un tag dell'area di lavoro ha lo stesso nome di un cluster o un tag pool predefinito di Azure Databricks, il tag personalizzato viene preceduto da un x_ prefisso quando viene propagato.
Ad esempio, se un'area di lavoro è contrassegnata con vendor = Azure Databricks, tale tag sarà in conflitto con il tag vendor = Databrickscluster predefinito . I tag verranno quindi propagati come x_vendor = Azure Databricks e vendor = Databricks.
Limiti
- I tag personalizzati dell’area di lavoro possono richiedere fino a un'ora per essere propagati ad Azure Databricks dopo qualsiasi modifica.
- Non è possibile assegnare più di 50 tag a una risorsa di Azure. Se il numero complessivo di tag aggregati supera questo limite, i tag con prefisso
x_vengono valutati in ordine alfabetico e quelli che superano il limite vengono ignorati. Se tutti i tag con prefissox_vengono ignorati e il conteggio non supera il limite, i tag rimanenti vengono valutati in ordine alfabetico e quelli che superano il limite vengono ignorati. - Le chiavi e i valori dei tag possono contenere solo lettere, spazi, numeri o caratteri
+,-=._:, ./@I tag contenenti altri caratteri non sono validi. - Se si modificano i nomi o i valori delle chiavi tag, queste modifiche si applicano solo dopo il riavvio del cluster o l'espansione del pool.
- Se i tag personalizzati del cluster sono in conflitto con i tag personalizzati di un pool, il cluster non può essere creato.
Procedure consigliate per l'assegnazione di tag
- Poiché i tag possono essere immessi manualmente, l'organizzazione deve standardizzare le coppie chiave-valore. Databricks consiglia di sviluppare criteri aziendali per la denominazione di chiavi e valori che possono essere condivisi con tutti gli utenti.
- Tutte le risorse devono essere contrassegnate con chiavi generali che assegnano l'utilizzo a una business unit o a un progetto. Ad esempio, una risorsa di calcolo creata dal team finanziario per il budget annuale potrebbe includere i tag
business-unit:financeeproject:annual-budget. - Per informazioni dettagliate più granulari, assegnare tag usando chiavi a specificità elevata. Ad esempio, è possibile creare chiavi basate su ruoli, prodotti, servizi o clienti.
- Se applicabile, gli amministratori dell'area di lavoro devono imporre tag utilizzando criteri di calcolo e criteri di budget. Consultare applicazione dei tag personalizzati.