Monitorare Azure HDInsight

L'articolo illustra:

• I tipi di dati di monitoraggio che è possibile raccogliere per questo servizio.
• Modi per analizzare i dati.

Quando si hanno applicazioni e processi di business critici che si basano sulle risorse di Azure, è necessario monitorare e ricevere avvisi per il sistema. Il servizio Monitoraggio di Azure raccoglie e aggrega metriche e log da ogni componente del sistema. Il Monitoraggio di Azure offre una visione sulla disponibilità, le prestazioni e la resilienza e notifica i problemi. È possibile usare il portale di Azure, PowerShell, l'interfaccia della riga di comando di Azure, l'API REST o le librerie client per configurare e visualizzare i dati di monitoraggio.

• Per altre informazioni sul monitoraggio di Azure, vedere Informazioni generali sul Monitoraggio di Azure.
• Per altre informazioni su come monitorare le risorse di Azure in generale, vedere Monitorare le risorse di Azure con Monitoraggio di Azure.

Opzioni di monitoraggio di HDInsight

Le metriche e i log specifici disponibili per il cluster HDInsight dipendono dal tipo di cluster e dagli strumenti. Azure HDInsight offre tipi di cluster Apache Hadoop, Spark, Kafka, HBase e Interactive Query. È possibile monitorare il cluster tramite l'interfaccia utente Web di Apache Ambari o nel portale di Azure abilitando l'integrazione di Monitoraggio di Azure.

Monitoraggio di Apache Ambari

Apache Ambari semplifica la gestione, la configurazione e il monitoraggio dei cluster HDInsight offrendo un'interfaccia utente Web e a un'API REST. Ambari è incluso in tutti i cluster HDInsight basati su Linux. Per usare Ambari, selezionare Home Ambari nella pagina Panoramica del cluster HDInsight nel portale di Azure.

Per informazioni su come usare Ambari per il monitoraggio, vedere gli articoli seguenti:

• Monitorare le prestazioni del cluster in Azure HDInsight
• Come monitorare la disponibilità del cluster con Apache Ambari in Azure HDInsight

Integrazione di Monitoraggio di Azure

È anche possibile monitorare i cluster HDInsight direttamente in Azure. Una nuova integrazione di Monitoraggio di Azure, ora in anteprima, consente di accedere informazioni dettagliate, loge cartelle di lavoro dal cluster HDInsight senza dover richiamare l'area di lavoro Log Analytics.

Per usare la nuova integrazione di Monitoraggio di Azure, abilitarla selezionando Integrazione monitoraggio nella sezione Monitoraggio nel menu a sinistra della pagina del portale di Azure di HDInsight. È anche possibile usare PowerShell o l'interfaccia della riga di comando di Azure per abilitare e interagire con la nuova integrazione del monitoraggio. Per maggiori informazioni, consultare l'articolo seguente:

• Usare l'agente di Monitoraggio di Azure per monitorare i cluster HDInsight

Insights

Per alcuni servizi di Azure, nel portale di Azure è disponibile un dashboard di monitoraggio predefinito che fornisce un punto iniziale per il monitoraggio del servizio. Questi dashboard sono denominati informazioni dettagliate ed è possibile trovarli nell'hub di Insights del Monitoraggio di Azure nel portale di Azure.

Integrazione del portale del cluster Informazioni dettagliate

Dopo aver abilitato l'integrazione di Monitoraggio di Azure, è possibile selezionare Informazioni dettagliate (anteprima) nel menu a sinistra della pagina del portale di Azure HDInsight per visualizzare un dashboard di visualizzazione dei log e delle metriche popolato automaticamente predefiniti, specifico per il tipo di cluster. Il dashboard Insights usa una cartella di lavoro di Azure predefinita che include sezioni per ogni tipo di cluster, YARN, metriche di sistema e log dei componenti.

Questi grafici e visualizzazioni dettagliati offrono informazioni approfondite sulle prestazioni e sull'integrità del cluster. Per altre informazioni, vedere Usare il riquadro predefinito Informazioni dettagliate di HDInsight per monitorare un singolo cluster.

Tipi di risorsa

Azure usa il concetto di tipi di risorse e ID per identificare tutti gli elementi in una sottoscrizione. I tipi di risorse fanno anche parte degli ID della risorsa per ogni risorsa in esecuzione in Azure. Ad esempio, un tipo di risorsa per una macchina virtuale è Microsoft.Compute/virtualMachines. Per un elenco dei servizi e dei relativi tipi di risorse associati, vedere Provider di risorse.

Il Monitoraggio di Azure organizza in modo analogo i dati di monitoraggio di base in metriche e log in base ai tipi di risorse, detti anche spazi dei nomi. Sono disponibili metriche e log diversi per diversi tipi di risorse. Il servizio potrebbe essere associato a più tipi di risorse.

Per altre informazioni sui tipi di risorse per Azure HDInsight, vedere Informazioni di riferimento sui dati di monitoraggio di HDInsight.

Archiviazione di dati

Per il Monitoraggio di Azure:

• I dati delle metriche vengono archiviati dal database di metriche del Monitoraggio di Azure.
• I dati di log vengono archiviati nell'archivio dei log del Monitoraggio di Azure. Log Analytics è uno strumento nel portale di Azure in grado di eseguire query su questo archivio.
• Il log attività di Azure è un archivio separato con la propria interfaccia nel portale di Azure.

Facoltativamente, è possibile instradare i dati delle metriche e dei log attività all'archivio dei log di Monitoraggio di Azure. È quindi possibile usare Analisi dei log per eseguire query sui dati e correlarli con altri dati di log.

Molti servizi possono usare le impostazioni di diagnostica per inviare i dati delle metriche e dei log ad altre posizioni di archiviazione all'esterno di Monitoraggio di Azure. Gli esempi includono Archiviazione di Azure, sistemi partner ospitati e sistemi partner non Azure usando Hub eventi.

Per informazioni dettagliate su come il Monitoraggio di Azure archivia i dati, vedere la piattaforma dati del Monitoraggio di Azure.

HDInsight archivia i file di log sia nel file system del cluster che in Archiviazione di Azure. A causa del numero elevato e delle dimensioni dei file di log, è importante ottimizzare l'archiviazione dei log per facilitare la gestione dei costi. Per altre informazioni, vedere Gestire i log per un cluster HDInsight.

Metriche della piattaforma del Monitoraggio di Azure

Il Monitoraggio di Azure fornisce metriche della piattaforma per la maggior parte dei servizi. Le metriche sono:

• Definite singolarmente per ogni spazio dei nomi.
• Archiviate in un database delle metriche di serie temporali del Monitoraggio di Azure.
• Leggere e in grado di creare avvisi in tempo quasi reale.
• Usate per tenere traccia delle prestazioni di una risorsa nel tempo.

Raccolta: il Monitoraggio di Azure raccoglie automaticamente le metriche della piattaforma. Non è richiesta alcuna configurazione.

Routing: è anche possibile instradare alcune metriche della piattaforma ai log di Monitoraggio di Azure/Log Analytics per poterle eseguire query con altri dati di log. Controllare l'impostazione di esportazione DS per ogni metrica per verificare se è possibile usare un'impostazione di diagnostica per instradare la metrica ai log di Monitoraggio di Azure/Log Analytics.

• Per altre informazioni, vedere impostazioni delle metriche di diagnostica.
• Per configurare le impostazioni di diagnostica per un servizio, vedere Creare impostazioni di diagnostica in Monitoraggio di Azure.

Per un elenco di tutte le metriche che è possibile raccogliere per tutte le risorse nel Monitoraggio di Azure, vedere Metriche supportate nel Monitoraggio di Azure.

Per un elenco delle metriche raccolte automaticamente per HDInsight, vedere Informazioni di riferimento sui dati di monitoraggio di HDInsight.

Log delle risorse di Monitoraggio di Azure

I log delle risorse forniscono informazioni dettagliate sulle operazioni eseguite da una risorsa di Azure. I log vengono generati automaticamente, ma è necessario indirizzarli verso i log del Monitoraggio di Azure per salvarli o interrogarli. I log sono organizzati in categorie. Uno specifico spazio dei nomi potrebbe avere più categorie di log delle risorse.

Raccolta: i log delle risorse non vengono raccolti e archiviati fino a quando non si crea un'impostazione di diagnostica e li si instrada verso una o più posizioni. Quando si crea un'impostazione di diagnostica, si specificano quali categorie di log raccogliere. Esistono diversi modi per creare e gestire le impostazioni di diagnostica, tra cui il portale di Azure, il livello programmatico e anche i Criteri di Azure.

Pianificazione percorso: l'impostazione predefinita consigliata consiste nell'instradare i log delle risorse verso i log del Monitoraggio di Azure in modo da poterli interrogare con altri dati di log. Sono disponibili anche altre posizioni, ad esempio Archiviazione di Azure, Hub eventi di Azure e alcuni partner di monitoraggio Microsoft. Per altre informazioni, vedere Log delle risorse di Azure e Destinazioni del log delle risorse.

Per informazioni dettagliate sulla raccolta, l'archiviazione e la pianificazione percorso dei log delle risorse, vedere Impostazioni di diagnostica nel Monitoraggio di Azure.

Per un elenco di tutte le categorie di log delle risorse disponibili nel Monitoraggio di Azure, vedere Log delle risorse supportati nel Monitoraggio di Azure.

Tutti i log delle risorse nel Monitoraggio di Azure hanno gli stessi campi d'intestazione, seguiti da campi specifici del servizio. Lo schema comune è descritto in Schema dei log delle risorse di Monitoraggio di Azure.

Log raccolti dall'agente

HDInsight non produce log delle risorse tramite il metodo consueto. Raccoglie invece i log dall'interno del cluster HDInsight e li invia alle tabelle di Log di Monitoraggio di Azure/Log Analytics usando l'agente di Log Analytics.

Un cluster HDInsight genera molti file di log, ad esempio:

• Log di esecuzione dei processi
• File di Resource Manager del log YARN
• Log delle azioni script
• Stato degli avvisi del cluster Ambari
• Metriche di sistema Ambari
• Registri di protezione
• Attività Hadoop registrata nei file di log controller, stderr e syslog

I log specifici disponibili dipendono dal framework e dagli strumenti del cluster. Dopo aver abilitato l'integrazione di Monitoraggio di Azure per il cluster, è possibile visualizzare ed eseguire query su questi log.

• Per altre informazioni sui log raccolti, vedere Gestire i log per un cluster HDInsight.
• Per gli schemi di log e tabelle di Log Analytics e Monitoraggio di Azure disponibili per HDInsight, vedere informazioni di riferimento sui dati di monitoraggio di HDInsight.

Registrazione selettiva

I cluster HDInsight possono raccogliere molti log dettagliati. Per risparmiare sui costi di monitoraggio e archiviazione, è possibile abilitare la funzionalità di registrazione selettiva usando le azioni script per HDInsight nel portale di Azure. La registrazione selettiva consente di attivare e disattivare diversi log e origini delle metriche disponibili tramite Log Analytics. Con questa funzionalità, è necessario pagare solo per ciò che si usa.

È possibile configurare la raccolta e l'analisi dei log per abilitare o disabilitare le tabelle nell'area di lavoro Log Analytics e modificare il tipo di origine per ogni tabella. Per istruzioni dettagliate, vedere Usare la registrazione selettiva con un'azione script in Azure HDInsight.

Finestra Log attività di Azure

Il log attività contiene eventi a livello di sottoscrizione che tengono traccia delle operazioni per ogni risorsa di Azure vista dall'esterno, ad esempio la creazione di una nuova risorsa o l'avvio di una macchina virtuale.

Raccolta: gli eventi del log attività vengono generati e raccolti automaticamente in un archivio separato per la visualizzazione nel portale di Azure.

Pianificazione percorso: è possibile inviare i dati del log attività ai log di Monitoraggio di Azure in modo da poterli analizzare insieme ad altri dati di log. Sono disponibili anche altre posizioni, ad esempio Archiviazione di Azure, Hub eventi di Azure e alcuni partner di monitoraggio Microsoft. Per altre informazioni su come instradare i log attività, vedere Informazioni generali sul log attività di Azure.

Analizzare i dati di monitoraggio

Sono disponibili molti strumenti per l'analisi dei dati di monitoraggio.

Strumenti di Monitoraggio di Azure

Il Monitoraggio di Azure supporta gli strumenti di base seguenti:

• Esplora metriche, uno strumento nel portale di Azure che consente di visualizzare e analizzare le metriche per le risorse di Azure. Per altre informazioni, vedere Analizzare le metriche con Esplora metriche di Monitoraggio di Azure.

• Log Analytics, uno strumento nel portale di Azure che consente di eseguire query e analizzare i dati di log usando il linguaggio di query Kusto (KQL). Per altre informazioni, vedere Introduzione alle query dei log del Monitoraggio di Azure.

• Log attività, che dispone di un'interfaccia utente nel portale di Azure per la visualizzazione e le ricerche di base. Per eseguire analisi più approfondite, è necessario instradare i dati verso i log di Monitoraggio di Azure ed eseguire query più complesse in Log Analytics.

Gli strumenti che consentono una visualizzazione più complessa includono:

• I dashboard che consentono di combinare tipi di dati diversi in un singolo riquadro nel portale di Azure.
• Cartelle di lavoro, report personalizzabili che è possibile creare nel portale di Azure. Le cartelle di lavoro possono includere testo, metriche e query di log.
• Grafana è una piattaforma aperta, ideale per i dashboard operativi. È possibile usare Grafana per creare dashboard che includano dati da più origini diverse dal Monitoraggio di Azure.
• Power BI, un servizio di analisi aziendale che fornisce visualizzazioni interattive per un'ampia varietà di origini dati. È possibile configurare per Power BI per importare automaticamente i dati di log da Monitoraggio di Azure per sfruttare i vantaggi di queste visualizzazioni.

Log di Monitoraggio di Azure raccoglie i dati dalle risorse del cluster HDInsight e da altri strumenti di monitoraggio e usa i dati per fornire analisi tra più origini.

• È necessario configurare l'integrazione di Monitoraggio di Azure per poter visualizzare e analizzare i log del cluster direttamente dal cluster. Per altre informazioni, vedere Come monitorare la disponibilità del cluster con i log di Monitoraggio di Azure in HDInsight.

• Una nuova integrazione di Monitoraggio di Azure (anteprima) per HDInsight sostituisce Log Analytics. Per altre informazioni, vedere Guida alla migrazione di Log Analytics per i cluster Azure HDInsight.

• Per scenari di base che usano i log di Monitoraggio di Azure per analizzare le metriche del cluster HDInsight e creare avvisi degli eventi, vedere Eseguire query sui log di Monitoraggio di Azure per monitorare i cluster HDInsight.

• Per istruzioni dettagliate su come abilitare i log di Monitoraggio di Azure e aggiungere una soluzione di monitoraggio per le operazioni del cluster Hadoop, vedere Usare i log di Monitoraggio di Azure per monitorare i cluster HDInsight.

Strumenti di esportazione del Monitoraggio di Azure

È possibile ottenere dati dal Monitoraggio di Azure in altri strumenti usando i metodi seguenti:

• Metriche: usare l'API REST per le metriche per estrarre i dati delle metriche dal database delle metriche del Monitoraggio di Azure. L'API supporta espressioni di filtro per perfezionare i dati recuperati. Per altre informazioni, vedere Informazioni di riferimento sull'API REST del Monitoraggio di Azure.

• Log: usare l'API REST o le librerie client associate.

• Un'altra opzione è l'esportazione dati dell'area di lavoro.

Per iniziare a usare l'API REST per il Monitoraggio di Azure, vedere Procedura dettagliata per l'API REST del Monitoraggio di Azure.

Query Kusto

È possibile analizzare i dati di monitoraggio nell'archivio dei Log/Log Analytics del Monitoraggio di Azure usando il linguaggio di query Kusto (KQL).

Per un elenco delle query comuni per qualsiasi servizio, vedere l'interfaccia query di Analisi dei log.

Dopo aver abilitato l'integrazione di Monitoraggio di Azure, è possibile selezionare Log (anteprima) nel riquadro di spostamento a sinistra per la pagina del portale di HDInsight e quindi selezionare la scheda Query per visualizzare le query di esempio per il cluster. Ad esempio, la query seguente elenca tutti i computer noti che non hanno inviato un heartbeat nelle ultime cinque ore.

// Unavailable computers 
Heartbeat
| summarize LastHeartbeat=max(TimeGenerated) by Computer
| where LastHeartbeat < ago(5h)

La query seguente recupera le prime 10 query a elevato utilizzo di risorse, in base all'utilizzo della CPU, nelle ultime 24 ore.

// Top 10 resource intensive queries 
LAQueryLogs
| top 10 by StatsCPUTimeMs desc nulls last

Avvisi

Gli avvisi di Monitoraggio di Azure notificano in modo proattivo quando vengono riscontrate condizioni specifiche nei dati di monitoraggio. Consentono di identificare e risolvere i problemi del sistema prima che gli utenti li notino. Per altre informazioni, vedere Avvisi di Monitoraggio di Azure.

Esistono molte origini di avvisi comuni per le risorse di Azure. Per esempi di avvisi comuni per le risorse di Azure, vedere Query di avviso di log di esempio. Il sito Avvisi di base di Monitoraggio di Azure (AMBA) offre un metodo semi-automatizzato per implementare importanti avvisi, dashboard e linee guida per le metriche della piattaforma. Il sito si applica a un sottoinsieme di servizi di Azure in continua espansione, inclusi tutti i servizi che fanno parte della zona di destinazione di Azure.

Lo schema di avviso comune standardizza l'utilizzo delle notifiche di avviso di Monitoraggio di Azure. Per altre informazioni, vedere lo Schema degli avvisi comuni.

Tipi di avviso:

È possibile creare avvisi su qualsiasi metrica o fonte di dati di log nella piattaforma di dati di Monitoraggio di Azure. Esistono molti tipi diversi di avvisi a seconda dei servizi monitorati e dei dati di monitoraggio raccolti. Ogni tipo di avviso presenta vantaggi e svantaggi. Per altre informazioni, vedere Scegliere il tipo di avviso di monitoraggio corretto.

L'elenco seguente descrive i tipi di avvisi del Monitoraggio di Azure che è possibile creare:

• Gli avvisi delle metriche valutano le metriche delle risorse a intervalli regolari. Le metriche possono essere metriche della piattaforma, metriche personalizzate, log di Monitoraggio di Azure convertiti in metriche o metriche di Application Insights. Gli avvisi delle metriche possono anche applicare più condizioni e soglie dinamiche.
• Gli avvisi relativi ai log consentono agli utenti di utilizzare una query di Log Analytics per valutare i log delle risorse con una frequenza predefinita.
• Gli avvisi dei log attività vengono attivati quando si verifica un nuovo evento del log attività che soddisfa le condizioni definite. Gli avvisi sull'integrità delle risorse e gli avvisi sull'integrità dei servizi sono avvisi di log delle attività che segnalano l'integrità dei servizi e delle risorse.

Alcuni servizi di Azure supportano anche avvisi di rilevamento intelligente, avvisi Prometheus o regole di avviso consigliate.

Per alcuni servizi, è possibile effettuare un monitoraggio su larga scala applicando la stessa regola di avviso delle metriche a più risorse dello stesso tipo presenti nella stessa area di Azure. Vengono inviate notifiche singole per ogni risorsa monitorata. Per i servizi e i cloud di Azure supportati, vedere Monitorare più risorse con una regola di avviso.

Regole di avviso HDInsight

Dopo aver abilitato l'integrazione di Monitoraggio di Azure, è possibile selezionare Avvisi nel riquadro di spostamento a sinistra per la pagina del portale di HDInsight e quindi selezionare la scheda Crea regola di avviso per configurare gli avvisi. È possibile basare un avviso su qualsiasi query di Log Analytics o usare i segnali delle metriche o del log attività.

La tabella seguente descrive un paio di regole di avviso per HDInsight. Questi avvisi sono solo esempi. È possibile impostare avvisi per qualsiasi metrica, voce di log o voce di log attività elencata in Informazioni di riferimento sui dati di monitoraggio di HDInsight.

Per un esempio che illustra come creare un avviso, vedere avvisi di Monitoraggio di Azure.

Elementi consigliati di Advisor

Per alcuni servizi, se si verificano condizioni critiche o modifiche imminenti durante le operazioni sulle risorse, viene visualizzato un avviso nella pagina Panoramica del servizio nel portale. È possibile trovare altre informazioni e correzioni consigliate per l'avviso in Consigli di Advisor in Monitoraggio nel menu a sinistra. Durante il normale funzionamento non viene visualizzato nessun consiglio di Advisor.

Per altre informazioni su Azure Advisor, vedere Informazioni generali su Azure Advisor.

Contenuto correlato

• Per informazioni di riferimento sulle metriche, i log e altri valori importanti creati per HDInsight, vedere Informazioni di riferimento sui dati di monitoraggio di HDInsight.
• Per informazioni generali sul monitoraggio delle risorse di Azure, vedere Monitoraggio delle risorse di Azure con Monitoraggio di Azure.