Condividi tramite

Informazioni di riferimento sui dati di monitoraggio di Azure HDInsight

  • Articolo

Questo articolo contiene tutte le informazioni di riferimento sul monitoraggio per questo servizio.

Vedere Monitorare HDInsight per informazioni dettagliate sui dati che è possibile raccogliere per Azure HDInsight e su come usarli.

Metrica

Questa sezione elenca tutte le metriche della piattaforma raccolte automaticamente per questo servizio. Queste metriche fanno anche parte dell'elenco globale di tutte le metriche della piattaforma supportate nel Monitoraggio di Azure.

Per informazioni sulla conservazione delle metriche, vedere Informazioni generali sulle metriche del Monitoraggio di Azure.

Metriche supportate per Microsoft.HDInsight/clusters

La tabella seguente elenca le metriche disponibili per il tipo di risorsa Microsoft.HDInsight/clusters.

  • Potrebbero non essere presenti tutte le colonne in ogni tabella.
  • Alcune colonne potrebbero superare l'area di visualizzazione della pagina. Selezionare Espandi tabella per visualizzare tutte le colonne disponibili.

Intestazioni di tabella

  • Categoria: gruppo o classificazione delle metriche.
  • Metrica: nome visualizzato della metrica come visualizzato nella portale di Azure.
  • Nome nell'API REST: nome della metrica indicato nell'API REST.
  • Unità: Unità di misura.
  • Aggregazione: tipo di aggregazione predefinito. Valori validi: Medio (Avg), Minimo (Min), Massimo (Max), Totale (Sum), Conteggio.
  • Dimensioni - Dimensioni disponibili per la metrica.
  • Intervalli di tempo - Intervalli in cui viene campionata la metrica. Ad esempio, PT1M indica che la metrica viene campionata ogni minuto, PT30M ogni 30 minuti, PT1H ogni ora e così via.
  • Esportazione DS: indica se la metrica è esportabile nei log di Monitoraggio di Azure tramite le impostazioni di diagnostica. Per informazioni sull'esportazione delle metriche, vedere Creare impostazioni di diagnostica nel Monitoraggio di Azure.

Categoria: Disponibilità

Metric Nome nell'API REST Unità Aggregazione Dimensioni Intervalli di tempo Esportazione DS
Richieste di gateway categorizzate

Numero di richieste del gateway per categoria (1xx/2xx/3xx/4xx/5xx)		 CategorizedGatewayRequests Count Count, Total (Sum) HttpStatus PT1M, PT1H, P1D Sì
Richieste di gateway

Numero di richieste del gateway		 GatewayRequests Count Count, Total (Sum) HttpStatus PT1M, PT1H, P1D Sì
Richiesta consumer proxy RESTThroughput

Numero di richieste consumer al proxy REST Kafka		 KafkaRestProxy.ConsumerRequest.m1_delta Conteggio al secondo Totale (somma) Machine, Topic PT1M, PT1H, P1D Sì
Richieste non riuscite del consumer proxy REST

Eccezioni delle richieste consumer		 KafkaRestProxy.ConsumerRequestFail.m1_delta Conteggio al secondo Totale (somma) Machine, Topic PT1M, PT1H, P1D Sì
Richiesta consumer proxy RESTLatency

Latenza dei messaggi in una richiesta consumer tramite proxy REST Kafka		 KafkaRestProxy.ConsumerRequestTime.p95 Millisecondi Media Machine, Topic PT1M, PT1H, P1D Sì
Backlog richiesta consumer proxy REST

Lunghezza coda proxy REST consumer		 KafkaRestProxy.ConsumerRequestWaitingInQueueTime.p95 Millisecondi Media Machine, Topic PT1M, PT1H, P1D Sì
REST proxy Producer MessageThroughput

Numero di messaggi producer tramite proxy REST Kafka		 KafkaRestProxy.MessagesIn.m1_delta Conteggio al secondo Totale (somma) Machine, Topic PT1M, PT1H, P1D Sì
REST proxy Consumer MessageThroughput

Numero di messaggi consumer tramite proxy REST Kafka		 KafkaRestProxy.MessagesOut.m1_delta Conteggio al secondo Totale (somma) Machine, Topic PT1M, PT1H, P1D Sì
Connessione simultanea proxy REST

Numero di connessioni simultanee tramite proxy REST Kafka		 KafkaRestProxy.OpenConnections Count Totale (somma) Machine, Topic PT1M, PT1H, P1D Sì
REST proxy Producer RequestThroughput

Numero di richieste producer al proxy REST Kafka		 KafkaRestProxy.ProducerRequest.m1_delta Conteggio al secondo Totale (somma) Machine, Topic PT1M, PT1H, P1D Sì
Richieste non riuscite del producer proxy REST

Eccezioni della richiesta producer		 KafkaRestProxy.ProducerRequestFail.m1_delta Conteggio al secondo Totale (somma) Machine, Topic PT1M, PT1H, P1D Sì
Richiesta producer proxy RESTLatency

Latenza dei messaggi in una richiesta producer tramite proxy REST Kafka		 KafkaRestProxy.ProducerRequestTime.p95 Millisecondi Media Machine, Topic PT1M, PT1H, P1D Sì
Backlog della richiesta producer proxy REST

Lunghezza della coda del proxy REST producer		 KafkaRestProxy.ProducerRequestWaitingInQueueTime.p95 Millisecondi Media Machine, Topic PT1M, PT1H, P1D Sì
Numero di ruoli di lavoro attivi

Number of Active Workers (Numero di ruoli di lavoro)		 NumActiveWorkers Count Media, Massimo, Minimo MetricName PT1M, PT1H, P1D Sì
CPU in sospeso

Richieste CPU in sospeso in YARN		 PendingCPU Count Media, Massimo, Minimo <none> PT1M, PT1H, P1D Sì
Memoria in sospeso

Richieste di memoria in sospeso in YARN		 PendingMemory Count Media, Massimo, Minimo <none> PT1M, PT1H, P1D Sì

Dimensioni delle metriche

Per informazioni sulle dimensioni delle metriche, vedere Metriche multidimensionali.

Questo servizio ha le dimensioni seguenti associate alle relative metriche.

Le dimensioni per la tabella Microsoft.HDInsight/clusters includono:

  • HttpStatus
  • Computer
  • Argomento
  • MetricName

Log risorse

Questa sezione elenca i tipi di log delle risorse che si possono raccogliere per questo servizio. La sezione esegue il pull dall'elenco di tutti i tipi di categoria dei log delle risorse supportati nel Monitoraggio di Azure.

HDInsight non usa i log delle risorse o le impostazioni di diagnostica di Monitoraggio di Azure. I log vengono raccolti da altri metodi, incluso l'uso dell'agente di Log Analytics.

Tabelle di log di Monitoraggio di Azure

Questa sezione elenca tutte le tabelle dei log del Monitoraggio di Azure pertinenti a questo servizio che sono disponibili per la query da parte di Log Analytics mediante le query di Kusto. Le tabelle contengono i dati dei log delle risorse ed eventualmente altro, a seconda di ciò che viene raccolto e indirizzato verso di esse.

Cluster HDInsight

Microsoft.HDInsight/Clusters

I log e le metriche disponibili variano a seconda del tipo di cluster HDInsight.

Mapping delle tabelle di log

La nuova integrazione di Monitoraggio di Azure implementa nuove tabelle nell'area di lavoro Log Analytics. Le tabelle seguenti illustrano i mapping delle tabelle di log dall'integrazione classica di Monitoraggio di Azure a quella nuova.

Nella colonna Nuova tabella viene visualizzato il nome della nuova tabella. La riga Descrizione descrive il tipo di log/metriche disponibili in questa tabella. La colonna tabella classica è un elenco di tutte le tabelle dell'integrazione classica di Monitoraggio di Azure i cui dati sono ora presenti nella nuova tabella.

Nota

Alcune tabelle sono completamente nuove e non basate sulle tabelle precedenti.

Tabelle generali del carico di lavoro

Nuova tabella Descrizione Tabella classica
HDInsightAmbariSystemMetrics Metriche di sistema raccolte da Ambari. Le metriche provengono ora da ogni nodo del cluster (ad eccezione dei nodi perimetrali) anziché solo dai due nodi head. Ogni metrica è ora una colonna e ogni metrica viene segnalata una volta per ogni record. metrics_cpu_nice_cl, metrics_cpu_system_cl, metrics_cpu_user_cl, metrics_memory_cache_CL, metrics_memory_swap_CL, metrics_memory_total_CLmetrics_memory_buffer_CL, metrics_load_1min_CL, metrics_load_cpu_CL, metrics_load_nodes_CL, metrics_load_procs_CL, metrics_network_in_CL, metrics_network_out_CL
HDInsightAmbariClusterAlerts Avvisi del cluster Ambari da ogni nodo del cluster (ad eccezione dei nodi perimetrali). Ogni avviso è un record in questa tabella. metrics_cluster_alerts_CL
HDInsightSecurityLogs Record dei log di controllo e autenticazione di Ambari. log_ambari_audit_CL, log_auth_CL
HDInsightRangerAuditLogs Tutti i record del log di controllo ranger per i cluster ESP. ranger_audit_logs_CL
HDInsightGatewayAuditLogs_CL Informazioni di controllo sui nodi del gateway. Stesso formato della tabella classica e ancora disponibile nella sezione Log personalizzati. log_gateway_Audit_CL

Carico di lavoro Spark

Nota

Le tabelle correlate all'applicazione Spark sono state sostituite con 11 nuove tabelle Spark che forniscono informazioni più approfondite sui carichi di lavoro Spark.

Nuova tabella Descrizione Tabella classica
HDInsightSparkLogs Tutti i log correlati a Spark e al relativo componente correlato: Livy e Jupyter. log_livy_CL, log_jupyter_CL, log_spark_CL, log_sparkappsexecutors_CL, log_sparkappsdrivers_CL
HDInsightSparkApplicationEvents Informazioni sugli eventi per le applicazioni Spark, tra cui ora di invio e completamento, ID app e AppName. Utile per tenere traccia dell'avvio e del completamento delle applicazioni.
HDInsightSparkBlockManagerEvents Informazioni sugli eventi correlate a Gestione blocchi di Spark. Include informazioni come l'utilizzo della memoria dell'executor.
HDInsightSparkEnvironmentEvents Informazioni sugli eventi correlate all'ambiente in cui viene eseguita un'applicazione, tra cui modalità di distribuzione Spark, master e informazioni sull'executor.
HDInsightSparkExecutorEvents Informazioni sugli eventi sull'utilizzo dell'executor Spark per da un'applicazione.
HDInsightSparkExtraEvents Informazioni sugli eventi che non rientrano in nessun'altra tabella Spark.
HDInsightSparkJobEvents Informazioni sui processi Spark, inclusi i relativi orari di inizio e fine, i risultati e le fasi associate.
HDInsightSparkSqlExecutionEvents Informazioni sugli eventi sulle query SPARK SQL, incluse le informazioni sul piano e la descrizione e l'ora di inizio e fine.
HDInsightSparkStageEvents Informazioni sugli eventi per fasi spark, inclusi i tempi di inizio e di completamento, lo stato dell'errore e le informazioni dettagliate sull'esecuzione.
HDInsightSparkStageTaskAccumulables Metriche delle prestazioni per fasi e attività.
HDInsightTaskEvents Informazioni sugli eventi per Attività Spark, inclusi l'ora di inizio e di completamento, le fasi associate, lo stato di esecuzione e il tipo di attività.
HDInsightJupyterNotebookEvents Informazioni sugli eventi per Jupyter Notebooks.

Carico di lavoro Hadoop/YARN

Nuova tabella Descrizione Tabella classica
HDInsightHadoopAndYarnMetrics Metriche JMX dai framework Hadoop e YARN. Contiene tutte le stesse metriche JMX delle tabelle dei log personalizzati precedenti, oltre a metriche più importanti: Server sequenza temporale, Gestione nodi e Server cronologia processi. Contiene una metrica per record. metrics_resourcemanager_clustermetrics_CL, metrics_resourcemanager_jvm_CL, metrics_resourcemanager_queue_root_CL, metrics_resourcemanager_queue_root_joblauncher_CL, metrics_resourcemanager_queue_root_default_CL, metrics_resourcemanager_queue_root_thriftsvr_CL
HDInsightHadoopAndYarnLogs Tutti i log generati dai framework Hadoop e YARN. log_mrjobsummary_CL, log_resourcemanager_CL, log_timelineserver_CL, log_nodemanager_CL

Carico di lavoro Hive/LLAP

Nuova tabella Descrizione Tabella classica
HDInsightHiveAndLLAPMetrics Metriche JMX dai framework Hive e LLAP. Contiene tutte le stesse metriche JMX delle tabelle dei log personalizzati precedenti, una metrica per record. llap_metrics_hiveserver2_CL, llap_metrics_hs2_metrics_subsystemllap_metrics_jvm_CL, llap_metrics_llap_daemon_info_CL, llap_metrics_buddy_allocator_info_CL, llap_metrics_deamon_jvm_CL, llap_metrics_io_CL, llap_metrics_executor_metrics_CL, llap_metrics_metricssystem_stats_CL, llap_metrics_cache_CL
HDInsightHiveAndLLAPLogs Log generati da Hive, LLAP e i relativi componenti correlati: WebHCat e Zeppelin. log_hivemetastore_CL log_hiveserver2_CL, log_hiveserve2interactive_CL, log_webhcat_CL, log_zeppelin_zeppelin_CL

Carico di lavoro Kafka

Nuova tabella Descrizione Tabella classica
HDInsightKafkaMetrics Metriche JMX di Kafka. Contiene tutte le stesse metriche JMX delle tabelle dei log personalizzati precedenti, oltre ad altre metriche importanti. Una metrica per record. metrics_kafka_CL
HDInsightKafkaLogs Tutti i log generati dai broker Kafka. log_kafkaserver_CL, log_kafkacontroller_CL

Carico di lavoro HBase

Nuova tabella Descrizione Tabella classica
HDInsightHBaseMetrics Metriche JMX da HBase. Contiene tutte le stesse metriche JMX delle tabelle precedenti. A differenza delle tabelle precedenti, ogni riga contiene una metrica. metrics_regionserver_CL, metrics_regionserver_wal_CL, metrics_regionserver_ipc_CL, metrics_regionserver_os_CL, metrics_regionserver_replication_CL, metrics_restserver_CL, metrics_restserver_jvm_CL, metrics_hmaster_assignmentmanager_CL, metrics_hmaster_ipc_CL, metrics_hmaser_os_CL, metrics_hmaster_balancer_CL, metrics_hmaster_jvm_CL, metrics_hmaster_CL, metrics_hmaster_fs_CL
HDInsightHBaseLogs Log da HBase e dai relativi componenti: Phoenix e HDFS. log_regionserver_CL, log_restserver_CL, log_phoenixserver_CL, log_hmaster_CL, log_hdfsnamenode_CL, log_garbage_collector_CL

Carico di lavoro Oozie

Nuova tabella Descrizione Tabella classica
HDInsightOozieLogs Tutti i log generati dal framework Oozie. Log_oozie_CL

Log attività

Nella tabella collegata sono elencate le operazioni che possono essere registrate nel log attività per questo servizio. Queste operazioni sono un sottoinsieme di tutte le possibili operazioni del provider di risorse nel log attività.

Per altre informazioni sullo schema delle voci del log attività, vedere Schema del log attività.

Contenuto correlato