Anpassen des Auslesens von Prometheus-Metriken im verwalteten Azure Monitor-Dienst für Prometheus

Dieser Artikel enthält Anweisungen dazu, wie Sie das Auslesen von Metriken für einen Kubernetes-Cluster mit dem Metrik-Add-On in Azure Monitor anpassen.

ConfigMaps

Vier verschiedene ConfigMaps können konfiguriert werden, um die Auslesekonfiguration und andere Einstellungen für das Metrik-Add-On bereitzustellen. Alle ConfigMaps sollten auf den kube-system-Namespace für jeden Cluster angewendet werden.

1. ama-metrics-settings-configmap Diese ConfigMap enthält einfache Einstellungen (siehe unten), die konfiguriert werden können. Sie können die ConfigMap aus dem obigen Git Hub-Repository verwenden, die erforderlichen Einstellungen ändern und die ConfigMap auf den kube-system-Namespace für Ihren Cluster anwenden/bereitstellen.
   • Clusteralias (zum Ändern des Werts der Bezeichnung cluster in jeder Zeitreihe/Metrik, die aus einem Cluster erfasst wird)
   • Aktivieren/Deaktivieren von Standard-Auslesezielen: Aktivieren/Deaktivieren Sie das Standardauslesen basierend auf Zielen. Die Auslesekonfiguration für diese Standardziele ist bereits vordefiniert/integriert.
   • Aktivieren von auf Podanmerkungen basierendem Auslesen pro Namespace
   • Metrikaufbewahrungslisten: Diese Einstellung wird verwendet, um zu steuern, welche Metriken von jedem Standardziel zugelassen werden sollen, und um das Standardverhalten zu ändern.
   • Auslese-Intervalle für Standard-/Vorabdefinitionsziele. 30 secs ist die Standard-Auslesehäufigkeit und kann mit dieser ConfigMap nach Standardziel geändert werden.
   • Debugmodus: Wenn Sie diese Option aktivieren, können Sie fehlende Metrik-/Erfassungsprobleme debuggen. Weitere Informationen finden Sie unter Problembehandlung.
2. ama-metrics-prometheus-config Diese ConfigMap kann verwendet werden, um eine Prometheus-Auslesekonfiguration für das Add-On-Replikat bereitzustellen. Das Add-On führt ein Singleton-Replikat aus, und alle Dienste auf Clusterebene können ermittelt und ausgelesen werden, indem in dieser ConfigMap Ausleseaufträge bereitgestellt werden. Sie können die Beispiel-ConfigMap aus dem obigen Git Hub-Repository verwenden, Ausleseaufträge hinzufügen, die Sie benötigen, und die ConfigMap zum kube-system-Namespace für Ihren Cluster anwenden/bereitstellen. Obwohl dies unterstützt wird, beachten Sie, dass die empfohlene Methode zum Scraping (Auslesen) von benutzerdefinierten Zielen benutzerdefinierte Ressourcen verwendet
3. ama-metrics-prometheus-config-node (Erweitert) Diese ConfigMap kann verwendet werden, um die Prometheus-Auslesekonfiguration für das Add-On DaemonSet bereitzustellen, das auf jedem Linux-Knoten im Cluster ausgeführt wird, und alle Ziele auf Knotenebene auf jedem Knoten können durch Bereitstellen von Ausleseaufträgen in dieser ConfigMap ausgelesen werden. Wenn Sie diese Configmap verwenden, können Sie die Variable $NODE_IP in Ihrer Auslesekonfiguration verwenden, die durch die IP-Adresse des entsprechenden Knotens im DaemonSet-Pod ersetzt wird, der auf jedem Knoten ausgeführt wird. Auf diese Weise erhalten Sie Zugriff, um alles auszulesen, was auf diesem Knoten von Metrik-Add-on DaemonSet ausgeführt wird. Seien Sie vorsichtig, wenn Sie Ermittlungen in der Auslesekonfiguration dieser Konfigurationszuordnung auf Knotenebene verwenden, da jeder Knoten im Cluster die Ziele einrichtet und ermittelt und redundante Metriken sammelt. Sie können die Beispiel-ConfigMap aus dem obigen Git Hub-Repository verwenden, Ausleseaufträge hinzufügen, die Sie benötigen, und die ConfigMap zum kube-system-Namespace für Ihren Cluster anwenden/bereitstellen
4. ama-metrics-prometheus-config-node-windows (Erweitert) Diese ConfigMap kann verwendet werden, um die Prometheus-Auslesekonfiguration für das Add-On DaemonSet bereitzustellen, das auf jedem Windows-Knoten im Cluster ausgeführt wird, und Ziele auf Knotenebene auf jedem Knoten können durch Bereitstellen von Ausleseaufträgen in dieser ConfigMap ausgelesen werden. Wenn Sie diese Configmap verwenden, können Sie die Variable $NODE_IP in Ihrer Auslesekonfiguration verwenden, die durch die IP-Adresse des entsprechenden Knotens im DaemonSet-Pod ersetzt wird, der auf jedem Knoten ausgeführt wird. Auf diese Weise erhalten Sie Zugriff, um alles auszulesen, was auf diesem Knoten von Metrik-Add-on DaemonSet ausgeführt wird. Seien Sie vorsichtig, wenn Sie Ermittlungen in der Auslesekonfiguration dieser Konfigurationszuordnung auf Knotenebene verwenden, da jeder Knoten im Cluster die Ziele einrichtet und ermittelt und redundante Metriken sammelt. Sie können die Beispiel-ConfigMap aus dem obigen Git Hub-Repository verwenden, Ausleseaufträge hinzufügen, die Sie benötigen, und die ConfigMap zum kube-system-Namespace für Ihren Cluster anwenden/bereitstellen

Benutzerdefinierte Ressourcendefinitionen

Das Azure Monitor-Metrik-Add-On unterstützt das Scraping (Auslesen) von Prometheus-Metriken mithilfe von Prometheus – Pod Monitoren und Dienstmonitoren, ähnlich dem OSS Prometheus-Operator. Wenn Sie das Add-On aktivieren, werden die benutzerdefinierten Ressourcendefinitionen „Pod“ und „Service Monitor“ bereitgestellt, damit Sie eigene benutzerdefinierte Ressourcen erstellen können. Befolgen Sie die Anweisungen zum Erstellen und Anwenden von benutzerdefinierten Ressourcen auf Ihrem Cluster.

ConfigMap-Einstellungen des Metrik-Add-Ons

ama-metrics-settings-configmap kann heruntergeladen, bearbeitet und auf den Cluster angewendet werden, um die vorkonfigurierten Funktionen des Metrik-Add-Ons anzupassen.

Aktivieren und Deaktivieren von Standardzielen

In der folgenden Tabelle finden Sie eine Liste aller Standardziele, die das Azure Monitor-Metrik-Add-On standardmäßig auslesen kann, und erfahren, ob die Ziele anfänglich aktiviert sind. Standardziele werden alle 30 Sekunden ausgelesen. Ein Replikat wird bereitgestellt, um clusterweite Ziele wie kube-state-metrics auszulesen. Ein DaemonSet wird auch zum Auslesen knotenweiter Ziele wie Kubelet bereitgestellt.

Wenn Sie das Auslesen der Standardziele aktivieren möchten, die standardmäßig nicht aktiviert sind, bearbeiten Sie die ConfigMap ama-metrics-settings-configmap, um die unter default-scrape-settings-enabled aufgelisteten Ziele auf true zu aktualisieren. Wenden Sie die ConfigMap auf Ihren Cluster an.

Aktivieren von auf Podanmerkungen basierendem Scraping

Um Anwendungspods auszulesen, ohne eine benutzerdefinierte Prometheus-Konfiguration erstellen zu müssen, können Anmerkungen zu den Pods hinzugefügt werden. Die Anmerkung prometheus.io/scrape: "true" ist erforderlich, damit der Pod ausgelesen werden kann. Die Anmerkungen prometheus.io/path und prometheus.io/port geben den Pfad und den Port an, an dem die Metriken auf dem Pod gehostet werden. Die Anmerkungen für einen Pod, der Metriken unter <pod IP>:8080/metrics hostet, wäre:

metadata:   
  annotations:
    prometheus.io/scrape: 'true'
    prometheus.io/path: '/metrics'
    prometheus.io/port: '8080'

Das Auslesen dieser Pods mit bestimmten Anmerkungen ist standardmäßig deaktiviert. Fügen Sie zum Aktivieren in ama-metrics-settings-configmapden regulären Ausdruck für die Namespaces der Pods mit Anmerkungen hinzu, die Sie als Wert des Felds podannotationnamespaceregex auslesen möchten.

Beispielsweise liest die folgende Einstellung Pods mit Anmerkungen nur in den Namespaces kube-system und my-namespace aus:

pod-annotation-based-scraping: |-
    podannotationnamespaceregex = "kube-system|my-namespace"

Verwenden Sie Folgendes, um das Scraping für Pods mit Anmerkungen in allen Namespaces zu aktivieren:

pod-annotation-based-scraping: |-
    podannotationnamespaceregex = ".*"

Anpassen von Metriken, die durch Standardziele gesammelt wurden

Standardmäßig werden für alle Standardziele nur die minimalen Metriken erfasst, die in den standardmäßigen Aufzeichnungsregeln, Warnungsregeln und Grafana-Dashboards verwendet werden, wie unter minimal-ingestion-profile beschrieben. Um alle Metriken von Standardzielen zu sammeln, aktualisieren Sie die keep-Listen in der configmap-Einstellung unter default-targets-metrics-keep-list, und legen Sie minimalingestionprofile auf false fest.

Bearbeiten Sie für alle Standardziele die Einstellungen unter default-targets-metrics-keep-list für den entsprechenden Auftrag, den Sie ändern möchten, um zusätzlich zu den Standardmetriken, die zulässig sind, weitere Metriken zuzulassen.

Beispielsweise ist kubelet die Metrikfiltereinstellung für das Standardziel „kubelet“. Verwenden Sie folgendes Skript, um in Metriken zu filtern, die mit der RegEx-basierten Filterung für die Standardziele gesammelt wurden.

kubelet = "metricX|metricY"
apiserver = "mymetric.*"

Wenn Sie die Standardaufträge weiter anpassen möchten, um Eigenschaften wie Sammlungshäufigkeit oder Bezeichnungen zu ändern, deaktivieren Sie das entsprechende Standardziel, indem Sie den ConfigMap-Wert für das Ziel auf false festlegen. Wenden Sie dann den Auftrag mithilfe einer benutzerdefinierten ConfigMap an. Ausführliche Informationen zur benutzerdefinierten Konfiguration finden Sie unter Anpassen des Auslesens von Prometheus-Metriken in Azure Monitor.

Clusteralias

Die Clusterbezeichnung, die jeder ausgelesenen Zeitreihe angefügt wird, verwendet den letzten Teil der Azure Resource Manager-Ressourcen-ID des vollständigen AKS-Clusters. Wenn die Ressourcen-ID beispielsweise /subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourcegroups/rg-name/providers/Microsoft.ContainerService/managedClusters/myclustername lautet, ist die Clusterbezeichnung myclustername.

Um die Clusterbezeichnung in der ausgelesenen Zeitreihe außer Kraft zu setzen, aktualisieren Sie die Einstellung cluster_alias auf eine beliebige Zeichenfolge unter prometheus-collector-settings in der ConfigMap ama-metrics-settings-configmap. Sie können diese Konfigurationszuordnung erstellen, wenn sie nicht im Cluster vorhanden ist, oder eine bearbeiten, die bereits im Cluster vorhanden ist.

Anstelle der Standardbezeichnung wird auch in der Dropdownliste für Clusterparameter in den Grafana-Dashboards die neue Bezeichnung angezeigt.

Debugmodus

Um jede ausgelesene Metrik zum Debuggen anzuzeigen, kann der Metrik-Add-On-Agent für die Ausführung im Debugmodus konfiguriert werden, indem die Einstellung enabled unter der Einstellung debug-mode in der ConfigMap ama-metrics-settings-configmap auf true aktualisiert wird. Sie können diese ConfigMap entweder erstellen oder eine vorhandene bearbeiten. Weitere Informationen finden Sie im Abschnitt „Debugmodus“ in der Problembehandlung unter der Auflistung der Prometheus-Metriken.

Einstellungen für das Ausleseintervall

Um die Einstellungen für das Ausleseintervall für ein beliebiges Ziel festzulegen, können Sie die Dauer in der Einstellung default-targets-scrape-interval-settings für dieses Ziel in der ConfigMap ama-metrics-settings-configmap aktualisieren. Sie müssen die Ausleseintervalle im richtigen Format festlegen, das auf dieser Website angegeben ist. Andernfalls wird der Standardwert von 30 Sekunden auf die entsprechenden Ziele angewendet. Beispiel: Wenn Sie das Auslese-Intervall für den kubelet-Auftrag auf 60s aktualisieren möchten, können Sie den folgenden Abschnitt in der YAML aktualisieren:

default-targets-scrape-interval-settings: |-
    kubelet = "60s"
    coredns = "30s"
    cadvisor = "30s"
    kubeproxy = "30s"
    apiserver = "30s"
    kubestate = "30s"
    nodeexporter = "30s"
    windowsexporter = "30s"
    windowskubeproxy = "30s"
    kappiebasic = "30s"
    prometheuscollectorhealth = "30s"
    podannotations = "30s"

und wenden Sie die YAML mit folgendem Befehl an: kubectl apply -f .\ama-metrics-settings-configmap.yaml

Konfigurieren benutzerdefinierter Prometheus-Ausleseaufträge

Sie können Prometheus-Metriken mithilfe von Prometheus – Pod Monitore und Dienstmonitore(Empfohlen) auslesen, ähnlich dem OSS Prometheus-Operator. Befolgen Sie die Anweisungen zum Erstellen und Anwenden von benutzerdefinierten Ressourcen auf Ihrem Cluster.

Außerdem können Sie den Anweisungen folgen, um die configmap für Ihren Cluster zu erstellen, zu validieren und anzuwenden. Das Konfigurationsformat ähnelt der Prometheus-Konfigurationsdatei.

Tipps und Beispiele für Prometheus-Konfigurationen

In diesem Abschnitt finden Sie einige Tipps anhand von Beispielen.

global:
  scrape_interval: <duration>
  scrape_timeout: <duration>
  external_labels:
    <labelname1>: <labelvalue>
    <labelname2>: <labelvalue>
scrape_configs:
  - <job-x>
  - <job-y>

Wenn Sie globale Einstellungen verwenden möchten, die für alle Scrape-Aufträge gelten und nur über Benutzerdefinierte Ressourcen verfügen, müssen Sie weiterhin eine Configmap mit nur den globalen Einstellungen erstellen (Einstellungen für jede dieser Einstellungen in den benutzerdefinierten Ressourcen überschreiben die Einstellungen im globalen Abschnitt)

Auslesekonfigurationen

relabelings:
- sourceLabels: [__address__]
  targetLabel: example_label
  replacement: 'example_value'

# Use the kubernetes namespace as a label called 'kubernetes_namespace'
relabelings:
- sourceLabels: [__meta_kubernetes_namespace]
  action: replace
  targetLabel: kubernetes_namespace

# Keep only metrics with the kubernetes namespace 'default'
metricRelabelings:
- sourceLabels: [kubernetes_namespace]
  action: keep
  regex: 'default'

# Replace the job name with the pod label 'k8s app'
relabelings:
- sourceLabels: [__meta_kubernetes_pod_label_k8s_app]
  targetLabel: job

# Replace the instance name with the node name. This is helpful to replace a node IP
# and port with a value that is more readable
relabelings:
- sourceLabels: [__meta_kubernetes_node_name]]
  targetLabel: instance

# Drop the metric named 'example_metric_name'
metricRelabelings:
- sourceLabels: [__name__]
  action: drop
  regex: 'example_metric_name'

# Keep only the metric named 'example_metric_name'
metricRelabelings:
- sourceLabels: [__name__]
  action: keep
  regex: 'example_metric_name'

# Keep only metrics that start with 'example_'
metricRelabelings:
- sourceLabels: [__name__]
  action: keep
  regex: '(example_.*)'

# Keep metrics only where example_label = 'example'
metricRelabelings:
- sourceLabels: [example_label]
  action: keep
  regex: 'example'

# Keep metrics only if `example_label` equals `value_1` or `value_2`
metricRelabelings:
- sourceLabels: [example_label]
  action: keep
  regex: '(value_1|value_2)'

# Keep metrics only if `example_label_1 = value_1` and `example_label_2 = value_2`
metricRelabelings:
- sourceLabels: [example_label_1, example_label_2]
  separator: ';'
  action: keep
  regex: 'value_1;value_2'

# Keep metrics only if `example_label` exists as a label
metricRelabelings:
- sourceLabels: [example_label_1]
  action: keep
  regex: '.+'

scrape_configs:
  - job_name: example
    - targets: [ '10.10.10.1:9090', '10.10.10.2:9090', '10.10.10.3:9090' ... ]
    - labels: [ label1: value1, label1: value2, ... ]

relabel_configs:
- source_labels: [__address__]
  target_label: example_label
  replacement: 'example_value'

# Use the kubernetes namespace as a label called 'kubernetes_namespace'
relabel_configs:
- source_labels: [__meta_kubernetes_namespace]
  action: replace
  target_label: kubernetes_namespace

# Keep only metrics with the kubernetes namespace 'default'
metric_relabel_configs:
- source_labels: [kubernetes_namespace]
  action: keep
  regex: 'default'

# Replace the job name with the pod label 'k8s app'
relabel_configs:
- source_labels: [__meta_kubernetes_pod_label_k8s_app]
  target_label: job

# Replace the instance name with the node name. This is helpful to replace a node IP
# and port with a value that is more readable
relabel_configs:
- source_labels: [__meta_kubernetes_node_name]]
  target_label: instance

# Drop the metric named 'example_metric_name'
metric_relabel_configs:
- source_labels: [__name__]
  action: drop
  regex: 'example_metric_name'

# Keep only the metric named 'example_metric_name'
metric_relabel_configs:
- source_labels: [__name__]
  action: keep
  regex: 'example_metric_name'

# Keep only metrics that start with 'example_'
metric_relabel_configs:
- source_labels: [__name__]
  action: keep
  regex: '(example_.*)'

# Keep metrics only where example_label = 'example'
metric_relabel_configs:
- source_labels: [example_label]
  action: keep
  regex: 'example'

# Keep metrics only if `example_label` equals `value_1` or `value_2`
metric_relabel_configs:
- source_labels: [example_label]
  action: keep
  regex: '(value_1|value_2)'

# Keep metrics only if `example_label_1 = value_1` and `example_label_2 = value_2`
metric_relabel_configs:
- source_labels: [example_label_1, example_label_2]
  separator: ';'
  action: keep
  regex: 'value_1;value_2'

# Keep metrics only if `example_label` exists as a label
metric_relabel_configs:
- source_labels: [example_label_1]
  action: keep
  regex: '.+'

relabel_configs:
- source_labels: [__address__]
  target_label: example_label
  replacement: 'example_value'

Standardauthentifizierung

apiVersion: v1
kind: Secret
metadata:
  name: ama-metrics-mtls-secret
  namespace: kube-system
type: Opaque
data:
  password1: <base64-encoded-string>

basic_auth:
  username: <username string>
  password_file: /etc/prometheus/certs/password1

Wenn Sie sowohl grundlegende Authentifizierung als auch TLS-Authentifizierung verwenden, lesen Sie bitte den Abschnitt unten. Weitere Informationen finden Sie unten im Abschnitt „Hinweis“.

TLS-basiertes Scraping

Wenn Sie eine Prometheus-Instanz haben, die mit TLS bedient wird und aus der Sie Metriken auslesen möchten, müssen Sie das Schema auf https festlegen und die TLS-Einstellungen in Ihrer ConfigMap oder den entsprechenden CRD festlegen. Führen Sie die folgenden Schritte aus.

1. Erstellen Sie im Namespace „kube-system“ ein Geheimnis mit dem Namen „ama-metrics-mtls-secret“. Jedes Schlüssel-Wert-Paar, das im Datenabschnitt des geheimen Objekts angegeben ist, wird als separate Datei in diesen /etc/prometheus/certs-Speicherort gemountet, wobei der Dateiname mit den im Datenabschnitt angegebenen Schlüsseln übereinstimmt. Die geheimen Werte sollten base64-codiert sein, bevor sie wie unten im Datenabschnitt abgelegt werden.

   Nachfolgend finden Sie ein Beispiel zum Erstellen eines geheimen Schlüssels über YAML.

   apiVersion: v1
   kind: Secret
   metadata:
     name: ama-metrics-mtls-secret
     namespace: kube-system
   type: Opaque
   data:
     <certfile>: base64_cert_content    
     <keyfile>: base64_key_content 
   

   Das Geheimnis ama-metrics-mtls-secret wird in den ama-metrics-Container unter dem Pfad /etc/prometheus/certs/ eingebunden und dem Prozess zur Verfügung gestellt, der die Metriken von Prometheus ausliest. Der Schlüssel (z. B. certfile) im obigen Beispiel ist der Dateiname, und der Wert wird base64-dekodiert und dem Inhalt der Datei im Container hinzugefügt. Der Prometheus-Scraper verwendet den Inhalt dieser Datei, um den Wert zu erhalten, der als Kennwort zum auslesen des Endpunkts verwendet wird.

2. Nachfolgend finden Sie die Details zum Bereitstellen der TLS-Konfigurationseinstellungen über eine ConfigMap oder CRD.

tls_config:
    ca_file: /etc/prometheus/certs/<certfile> # since it is self-signed
    cert_file: /etc/prometheus/certs/<certfile>
    key_file: /etc/prometheus/certs/<keyfile>
    insecure_skip_verify: false

 tlsConfig:
   ca:
     secret:
       key: "<certfile>" # since it is self-signed
       name: "ama-metrics-mtls-secret"
   cert:
     secret:
       key: "<certfile>"
       name: "ama-metrics-mtls-secret"
   keySecret:
       key: "<keyfile>"
       name: "ama-metrics-mtls-secret"
   insecureSkipVerify: false

Standardauthentifizierung und TLS

Wenn Sie in Ihrer configmap/CRD Einstellungen sowohl für die Standard- als auch für die TLS-Authentifizierung verwenden möchten, stellen Sie einfach sicher, dass das Geheimnis ama-metrics-mtls-secret alle Dateien (Schlüssel) unter dem Abschnitt „Daten“ mit ihren entsprechenden Base-64-kodierten Werten enthält, wie unten gezeigt.

apiVersion: v1
kind: Secret
metadata:
  name: ama-metrics-mtls-secret
  namespace: kube-system
type: Opaque
data:
  certfile: base64_cert_content    # used for Tls
  keyfile: base64_key_content      # used for Tls
  password1: base64-encoded-string # used for basic auth
  password2: base64-encoded-string # used for basic auth

Hinweis

Nächste Schritte

Einrichten von Benachrichtigungen für Prometheus-Metriken
Abfrage von Prometheus-Metriken
Erfahren Sie mehr über das Sammeln von Prometheus-Metriken.