Monitoraggio e osservabilità per i lavori di Databricks

Questo articolo descrive le funzionalità disponibili nell'interfaccia utente di Azure Databricks per visualizzare i lavori a cui si ha accesso, visualizzare una cronologia delle esecuzioni per un lavoro e visualizzare i dettagli delle esecuzioni dei lavori. Per configurare le notifiche per i lavori, vedere Aggiungere notifiche email e di sistema per gli eventi del lavoro.

Per informazioni sull'uso della CLI di Databricks per visualizzare ed eseguire i lavori, eseguire i comandi della CLI databricks jobs list -h, databricks jobs get -h e databricks jobs run-now -h. Per informazioni sull'uso dell'API Processi, vedere l'API Processi.

Se si ha accesso allo schema system.lakeflow, è anche possibile visualizzare ed eseguire query sui record delle esecuzioni e delle task dei lavori nell'account. Consultare Informazioni di riferimento sulla tabella di sistema processi.

Visualizzare i lavori

Per visualizzare l'elenco dei lavori a cui si ha accesso, cliccare su Flussi di lavoro nella barra laterale. La scheda Lavori nell'interfaccia utente Flussi di lavoro elenca le informazioni su tutti i lavori disponibili, ad esempio l'autore del lavoro, il trigger del lavoro e, se presente, il risultato dell'ultima esecuzione.

Per modificare le colonne visualizzate nell'elenco dei compiti, cliccare su e selezionare o deselezionare le colonne.

È possibile filtrare i lavori nell'elenco Lavori:

• Uso delle parole chiave. Se è abilitata la funzionalità di aumento del limite di lavori per questa area di lavoro, la ricerca per parole chiave è supportata solo per i campi nome, ID lavoro e tag lavoro.
• Selezione solo dei lavori di cui si è proprietari.
• Selezione di tutti i lavori per cui si dispone delle autorizzazioni per l'accesso.
• Uso dei tag. Per cercare un tag creato con una sola chiave, digitare la chiave nella casella di ricerca. Per cercare un tag creato con una chiave e un valore, è possibile eseguire ricerche in base alla chiave, al valore o sia alla chiave che al valore. Ad esempio, per un tag con la chiave department e il valore finance, è possibile cercare department o finance trovare i lavori corrispondenti. Per eseguire la ricerca in base alla chiave e al valore, immettere la chiave e il valore separati da due punti; ad esempio department:finance.

È anche possibile fare clic su qualsiasi intestazione di colonna per ordinare l'elenco di lavori (decrescente o crescente) in base a tale colonna. Quando la funzionalità di aumento del limite di lavori è abilitata, è possibile ordinare solo per Name, Job ID o Created by. Per impostazione predefinita, l'ordinamento è per Name in ordine crescente.

Cliccare per accedere alle azioni per il lavoro, ad esempio per eliminarlo.

Visualizzare le esecuzioni per un lavoro

È possibile visualizzare un elenco delle esecuzioni attualmente in corso e di quelle completate di recente per tutti i lavori a cui si ha accesso, incluse le esecuzioni avviate da strumenti di orchestrazione esterni, ad esempio Apache Airflow o Azure Data Factory. Per visualizzare l'elenco delle esecuzioni dei lavori recenti:

1. Cliccare Flussi di lavoro nella barra laterale.
2. Nella colonna Nome, cliccare sul nome di un lavoro. La scheda Esecuzioni è visibile con le visualizzazioni matrice ed elenco delle esecuzioni attive e completate.

La visualizzazione matrice mostra una cronologia delle esecuzioni per il lavoro, inclusa ogni task del lavoro.

Nella riga Durata totale esecuzione della matrice viene visualizzata la durata totale dell'esecuzione e il suo stato. Per visualizzare i dettagli dell'esecuzione, inclusi l'ora di inizio, la durata e lo stato, passare il puntatore sulla barra nella riga Durata totale esecuzione.

Ogni cella nella riga Tasks rappresenta una task e lo stato corrispondente della task. Per visualizzare i dettagli di ogni task, inclusi l'ora di inizio, la durata, il cluster e lo stato, passare il puntatore del mouse sulla cella per tale task.

Le barre di esecuzione del lavoro e di esecuzione delle task sono codificate a colori per indicare lo stato dell'esecuzione. Le esecuzioni riuscite sono verdi, quelle non riuscite sono rosse e quelle ignorate sono rosa. L'altezza della singola esecuzione del lavoro e delle barre di esecuzione delle task indica visivamente la durata dell'esecuzione.

Se è stato configurato un tempo di completamento previsto, la visualizzazione matrice visualizza un avviso quando la durata di un'esecuzione supera il tempo configurato.

Per impostazione predefinita, viene visualizzato l'elenco esecuzioni:

• Ora di inizio per l'esecuzione.
• Identificatore dell'esecuzione.
• Se l'esecuzione è stata attivata da una programmazione processi o da una richiesta API, oppure è stata avviata manualmente.
• Tempo trascorso per un lavoro attualmente in esecuzione o il tempo di esecuzione totale per un'esecuzione completata. Se la durata supera un tempo di completamento previsto configurato, viene visualizzato un avviso.
• Collegamenti ai log di Spark.
• Lo stato dell'esecuzione: Queued, Pending, Running, Skipped, Succeeded, Failed, Terminating, Terminated, Internal Error, Timed Out, Canceled, Canceling o Waiting for Retry.
• Cliccare su per accedere alle azioni specifiche del contesto per l'esecuzione, ad esempio arrestare un'esecuzione attiva o eliminare un'esecuzione completata.

Per modificare le colonne visualizzate nella visualizzazione elenco esecuzioni, cliccare su e selezionare o deselezionare le colonne.

Per visualizzare i dettagli per un'esecuzione del lavoro, cliccare sul collegamento per l'esecuzione nella Ora di inizio nella visualizzazione elenco esecuzioni. Per visualizzare i dettagli dell'esecuzione più recente del lavoro, cliccare su Vai all'ultima esecuzione riuscita.

Azure Databricks mantiene una cronologia delle esecuzioni del lavoro per un massimo di 60 giorni. Se è necessario mantenere le esecuzioni dei lavori, Databricks consiglia di esportare i risultati prima della loro scadenza. Per altre informazioni, vedere Esportazione dei risultati di esecuzione del lavoro.

Visualizzare i dettagli di esecuzione del lavoro

La pagina dei dettagli di esecuzione del lavoro contiene l'output del lavoro e i collegamenti ai log, incluse le informazioni sull'esito positivo o negativo di ogni task nell'esecuzione del lavoro. È possibile accedere ai dettagli dell'esecuzione del lavoro dalla scheda Esecuzioni per il lavoro. Per visualizzare i dettagli dell'esecuzione del lavoro dalla scheda Esecuzioni, cliccare sul collegamento per l'esecuzione nella colonna Ora di inizio nella visualizzazione dell'elenco esecuzioni. Per tornare alla scheda Esecuzioni per il lavoro, cliccare sul valore ID lavoro.

Se il lavoro contiene più task, fare clic su una task per visualizzare i dettagli dell'esecuzione della task, tra cui:

• cluster che ha eseguito la task
  • Interfaccia utente di Spark per la task
  • log per la task
  • metriche per la task

Cliccare sul valore ID lavoro per tornare alla scheda Esecuzioni per il lavoro.

In che modo Azure Databricks determina lo stato di esecuzione del lavoro?

Azure Databricks determina se un'esecuzione del lavoro è stata eseguita correttamente in base al risultato delle task foglia del lavoro. Una task foglia è una task che non ha dipendenze downstream. Un'esecuzione del lavoro può avere uno dei tre risultati seguenti:

• Operazione completata: tutte le task hanno avuto esito positivo.
• Operazione riuscita con errori: alcune task non sono riuscite, ma tutte le task foglia hanno avuto esito positivo.
• Operazione non riuscita: errore per una o più task foglia.

Visualizzare le metriche per le attività di streaming

Quando si visualizzano i dettagli dell'esecuzione del job, è possibile ottenere dati sui carichi di lavoro dello streaming con metriche di osservabilità dello streaming nell'interfaccia utente dei job. Queste metriche includono i secondi di backlog, i byte di backlog, i record di backlog e i file di backlog per le origini supportate da Spark Structured Streaming, tra cui Apache Kafka, Amazon Kinesis, Auto Loader, Google Pub/Sub e tabelle Delta. Le metriche vengono visualizzate come grafici nel riquadro a destra quando si visualizzano i dettagli dell'esecuzione di un'attività. Le metriche visualizzate in ogni grafico sono valori massimi aggregati per minuto e possono includere fino alle 48 ore precedenti.

Ogni origine di streaming supporta solo metriche specifiche. Le metriche non supportate da un'origine di streaming non sono disponibili per la visualizzazione nell'interfaccia utente. La tabella seguente illustra le metriche disponibili per le origini di streaming supportate:

È anche possibile specificare le soglie per ogni metrica di streaming e configurare le notifiche se un flusso supera una soglia durante l'esecuzione di un'attività. Vedere Configurare le notifiche quando viene superata una soglia.

Per visualizzare le metriche di streaming per un'attività di esecuzione che trasmette i dati da una delle origini di Structured Streaming supportate:

1. Nella pagina dettagli di esecuzione del processo, fare clic sull'attività per cui si desidera visualizzare le metriche.
2. Fare clic sulla scheda Metriche nel riquadro Esecuzione attività.
3. Per aprire il grafico per una metrica, fare clic su Right Caret accanto al nome della metrica.
4. Per visualizzare le metriche per un flusso specifico, immettere l'ID del flusso nella casella di testo Filtra per stream_id. È possibile trovare l'ID del flusso nell'output per l'esecuzione del job.
5. Per modificare il periodo temporale dei grafici delle metriche, utilizzare il menu a discesa del tempo.
6. Per scorrere i flussi se l'esecuzione contiene più di dieci flussi, fare clic su Avanti o Precedente.

Limitazioni dell'osservabilità dello streaming

• Le metriche vengono aggiornate ogni minuto, a meno che un processo non abbia più di quattro flussi. Se un'esecuzione ha più di quattro flussi, le metriche vengono aggiornate ogni cinque minuti.
• Le metriche vengono raccolte solo per i primi cinquanta stream in ogni esecuzione.

Visualizzare la cronologia di esecuzione della task

Per visualizzare la cronologia di esecuzione di una task, incluse le esecuzioni riuscite e non riuscite:

1. Cliccare su una task nella pagina Dettagli esecuzione lavoro. Viene visualizzata la pagina Dettagli esecuzione task.
2. Nel menu a discesa di cronologia di esecuzione selezionare l'esecuzione task.

Visualizzare la cronologia di esecuzione per una task For each

L'accesso alla cronologia di esecuzione per una task For each è identico a quello di una task Lavori standard di Azure Databricks. È possibile cliccare sul nodo task For each nella pagina Dettagli esecuzione lavoro o nella cella corrispondente nella visualizzazione matrice. Tuttavia, a differenza di una task standard, i dettagli di esecuzione per una task For each vengono presentati come tabella delle iterazioni nidificate della task.

Per visualizzare solo le iterazioni non riuscite, cliccare su Solo iterazioni non riuscite.

Per visualizzare l'output di un'iterazione, cliccare sui valori Ora di inizio o Ora di fine dell'iterazione.

Visualizzare le esecuzioni lavoro recenti

È possibile visualizzare un elenco delle esecuzioni in esecuzione e completate di recente per tutti i lavori di un'area di lavoro a cui si ha accesso, incluse le esecuzioni avviate da strumenti di orchestrazione esterni, ad esempio Apache Airflow o Azure Data Factory. Per visualizzare l'elenco delle esecuzioni dei lavori recenti:

1. Cliccare Flussi di lavoro nella barra laterale.
2. Cliccare sulla scheda Esecuzioni lavoro per visualizzare l'elenco Esecuzioni lavoro.

Il grafico Conteggio esecuzioni completate visualizza il numero di esecuzioni di lavoro completate nelle ultime 48 ore. Per impostazione predefinita, il grafico visualizza le esecuzioni di lavori non riuscite, ignorate e riuscite. È anche possibile filtrare il grafico per visualizzare stati di esecuzione specifici o limitare il grafico a un intervallo di tempo specifico. La scheda Esecuzioni lavoro include anche una tabella di esecuzioni lavoro degli ultimi 67 giorni. Per impostazione predefinita, la tabella include dettagli sulle esecuzioni di lavori non riuscite, ignorate e riuscite.

È possibile filtrare il Conteggio delle esecuzioni completate in base allo stato di esecuzione:

• Per aggiornare il grafico per visualizzare i lavori attualmente in esecuzione o in attesa di esecuzione, cliccare su Esecuzioni attive.
• Per aggiornare il grafico per visualizzare solo le esecuzioni completate, incluse quelle non riuscite, riuscite e ignorate, cliccare su Esecuzioni completate.
• Per aggiornare il grafico per visualizzare solo le esecuzioni completate correttamente nelle ultime 48 ore, cliccare su Esecuzioni riuscite.
• Per aggiornare il grafico per visualizzare solo le esecuzioni ignorate, cliccare su Esecuzioni ignorate. Le esecuzioni vengono ignorate perché è stato superato il numero massimo di esecuzioni simultanee nell'area di lavoro, oppure perché il lavoro ha superato il numero massimo di esecuzioni simultanee specificate dalla configurazione del lavoro.
• Per aggiornare il grafico per visualizzare solo le esecuzioni completate in uno stato di errore, cliccare su Esecuzioni non riuscite.

Quando si fa clic su uno dei pulsanti filtro, l'elenco di esecuzioni nella tabella delle esecuzioni viene aggiornato anche per visualizzare solo le esecuzioni di lavori corrispondenti allo stato selezionato.

Per limitare l'intervallo di tempo visualizzato nel grafico Conteggio esecuzioni completate, cliccare e trascinare il cursore nel grafico per selezionare l'intervallo di tempo. Il grafico e l'aggiornamento della tabella di esecuzione per visualizzare le esecuzioni vengono eseguiti solo dall'intervallo di tempo selezionato.

Per impostazione predefinita, l'elenco delle esecuzioni nella tabella delle esecuzioni visualizza:

• Ora di inizio per l'esecuzione.
• Il nome lavoro associato all'esecuzione.
• Nome utente con cui viene eseguito il lavoro.
• Se l'esecuzione è stata attivata da una programmazione processi o da una richiesta API, oppure è stata avviata manualmente.
• Tempo trascorso per un lavoro attualmente in esecuzione o il tempo di esecuzione totale per un'esecuzione completata. Se la durata supera un tempo di completamento previsto configurato, viene visualizzato un avviso.
• Lo stato dell'esecuzione: Queued, Pending, Running, Skipped, Succeeded, Failed, Terminating, Terminated, Internal Error, Timed Out, Canceled, Canceling o Waiting for Retry.
• Qualsiasi parametro per l'esecuzione.
• Cliccare su per accedere alle azioni specifiche del contesto per l'esecuzione, ad esempio arrestare un'esecuzione attiva o eliminare un'esecuzione completata.

Per modificare le colonne visualizzate nell'elenco delle esecuzioni, cliccare e selezionare o deselezionare le colonne.

La tabella Primi 5 tipi di errore visualizza un elenco con i tipi di errore più frequenti nell'intervallo di tempo selezionato, consentendo di visualizzare rapidamente le cause più comuni dei problemi di lavoro nell'area di lavoro.

Per visualizzare i dettagli dell'esecuzione lavoro, cliccare sul collegamento Ora di inizionella colonna per l'esecuzione. Per visualizzare i dettagli del lavoro, cliccare sul nome del lavoro nella colonna Lavoro.

Visualizzare le informazioni sulla derivazione per un lavoro

Se Unity Catalog è abilitato nell'area di lavoro, è possibile visualizzare le informazioni sulla derivazione per qualsiasi tabella di Unity Catalog nel flusso di lavoro. Se le informazioni sulla derivazione sono disponibili per il flusso di lavoro, verrà visualizzato un collegamento con un conteggio delle tabelle upstream e downstream nel pannello Dettagli lavoro relativi al lavoro in questione, il pannello Dettagli esecuzione lavoro per un'esecuzione lavoro o il pannello Dettagli esecuzione task per un'esecuzione task. Cliccare sul collegamento per visualizzare l'elenco delle tabelle. Cliccare su una tabella per visualizzare informazioni dettagliate in Explorer catalogo.

Visualizzare ed eseguire un processo creato con un bundle di asset di Databricks

È possibile usare l'interfaccia utente dei processi di Azure Databricks per visualizzare ed eseguire i processi distribuiti da un bundle di asset di Databricks. Per impostazione predefinita, questi processi sono di sola lettura nell'interfaccia utente processi. Per modificare un processo distribuito da un bundle, modificare il file di configurazione del bundle e ridistribuire il processo. L'applicazione delle modifiche solo alla configurazione del bundle garantisce che i file di origine del bundle acquisiscano sempre la configurazione del processo corrente.

Tuttavia, se è necessario apportare modifiche immediate a un processo, è possibile disconnettere il processo dalla configurazione del bundle per abilitare la modifica delle impostazioni del processo nell'interfaccia utente. Per disconnettersi dalla sessione, fare clic su Disconnetti dall’origine. Nella finestra di dialogo Disconnetti dall'origine fare clic su Disconnetti per confermare.

Le modifiche apportate al processo nell'interfaccia utente non vengono applicate alla configurazione del bundle. Per applicare le modifiche apportate nell'interfaccia utente al bundle, è necessario aggiornare manualmente la configurazione del bundle. Per riconnettere il processo alla configurazione del bundle, ridistribuire il processo usando il bundle.

Esportare i risultati di esecuzione del lavoro

È possibile esportare i risultati di esecuzione del notebook e i log di esecuzione dei lavori per tutti i tipi di lavoro.

Esportare i risultati di esecuzione del notebook

È possibile rendere persistenti le esecuzioni dei lavori esportandone i risultati. Per le esecuzioni dei lavori notebook, è possibile esportare un notebook sottoposto a rendering che può essere successivamente importato nell'area di lavoro di Databricks.

Per esportare i risultati di esecuzione del notebook per un lavoro con una singola task:

1. Nella pagina dei dettagli del lavoro cliccare sul collegamento Visualizza dettagli per l'esecuzione nella colonna Esegui della tabella Esecuzioni completate (ultimi 60 giorni).
2. Cliccare su Esporta in HTML.

Per esportare i risultati di esecuzione del notebook per un lavoro con più task:

1. Nella pagina dei dettagli del lavoro cliccare sul collegamento Visualizza dettagli per l'esecuzione nella colonna Esegui della tabella Esecuzioni completate (ultimi 60 giorni).
2. Fare clic sulla task del notebook da esportare.
3. Cliccare su Esporta in HTML.

Esportare i log di esecuzione del lavoro

È anche possibile esportare i log per l'esecuzione del lavoro. È possibile configurare il lavoro per fornire automaticamente i log a DBFS tramite l'API lavoro. Vedere l'oggetto new_cluster.cluster_log_conf nel corpo della richiesta passato all'operazione Crea un nuovo processo (POST /jobs/create) nell'API Processi.