Prometheus 用 Azure Monitor マネージド サービスで Prometheus メトリックのスクレイピングをカスタマイズする

ポッド モニターとサービス モニターのテンプレートを使用し、API 仕様に従ってカスタム リソース (PodMonitor と Service Monitor) を作成します。 Managed Prometheus によって取得される既存の OSS CR に必要な変更は、API グループ - azmonitoring.coreos.com/v1 のみであることに注意してください。 詳細については、こちらを参照してください

構成の形式は、Prometheus 構成ファイルと同じです。 現在、次のセクションがサポートされています。

global:
  scrape_interval: <duration>
  scrape_timeout: <duration>
  external_labels:
    <labelname1>: <labelvalue>
    <labelname2>: <labelvalue>
scrape_configs:
  - <job-x>
  - <job-y>

その他のサポートされていないセクションは、configmap として適用する前に構成から削除する必要があります。 そうしなければ、カスタム構成は検証に失敗し、適用されません。

Prometheus 構成から configmap を作成するには、「設定ファイルの適用」セクションを参照してください。

現在、カスタム リソースのターゲット検出方法でサポートされているのは、ポッド モニターとサービス モニターです

ポッド モニターとサービス モニター

ポッド モニターとサービス モニターを使用して検出されたターゲットには、使用されるモニターに応じて異なる __meta_* ラベルがあります。 ラベルを relabelings セクションで使用して、ターゲットのフィルター処理やターゲットのラベルの置き換えを行うことができます。

ポッド モニターとサービス モニターの「ポッド モニターとサービス モニターの例」を参照してください。

ラベルの変更

relabelings セクションは、ターゲット検出時に適用され、ジョブの各ターゲットに適用されます。 次の例では、relabelings の使用方法を示します。

ラベルを追加する

値 example_value を持つ example_label という名前の新しいラベルを、ジョブのすべてのメトリックに追加します。 ラベル __address__ は常に存在し、ジョブのすべてのターゲットにラベルを追加するため、ソース ラベルとしてのみ使用します。

relabelings:
- sourceLabels: [__address__]
  targetLabel: example_label
  replacement: 'example_value'

ポッド モニターまたはサービス モニターのラベルを使用する

ポッド モニターとサービス モニターを使用して検出されたターゲットには、使用されるモニターに応じて異なる __meta_* ラベルがあります。 __* ラベルは、ターゲットの検出後に削除されます。 メトリック レベルでこれらを使用してフィルター処理するには、まず、ラベル名を割り当てて relabelings の使用を維持します。 その後、metricRelabelings を使用してフィルター処理します。

# Use the kubernetes namespace as a label called 'kubernetes_namespace'
relabelings:
- sourceLabels: [__meta_kubernetes_namespace]
  action: replace
  targetLabel: kubernetes_namespace

# Keep only metrics with the kubernetes namespace 'default'
metricRelabelings:
- sourceLabels: [kubernetes_namespace]
  action: keep
  regex: 'default'

ジョブとインスタンスのラベルの書き換え

job および instance のラベル値は、他のラベルと同様に、ソース ラベルに基づいて変更することができます。

# Replace the job name with the pod label 'k8s app'
relabelings:
- sourceLabels: [__meta_kubernetes_pod_label_k8s_app]
  targetLabel: job

# Replace the instance name with the node name. This is helpful to replace a node IP
# and port with a value that is more readable
relabelings:
- sourceLabels: [__meta_kubernetes_node_name]]
  targetLabel: instance

メトリックのラベルの変更

メトリックのラベルの変更は、スクレイピング後、インジェストの前に適用されます。 スクレイピング後にメトリックをフィルター処理するには、metricRelabelings セクションを使用します。 次の例では、この実行方法を示します。

名前でメトリックを削除する

# Drop the metric named 'example_metric_name'
metricRelabelings:
- sourceLabels: [__name__]
  action: drop
  regex: 'example_metric_name'

特定のメトリックのみを名前で保持する

# Keep only the metric named 'example_metric_name'
metricRelabelings:
- sourceLabels: [__name__]
  action: keep
  regex: 'example_metric_name'

# Keep only metrics that start with 'example_'
metricRelabelings:
- sourceLabels: [__name__]
  action: keep
  regex: '(example_.*)'

メトリックの名前を変更する

メトリックの名前の変更はサポートされていません。

メトリックをラベルでフィルター処理する

# Keep metrics only where example_label = 'example'
metricRelabelings:
- sourceLabels: [example_label]
  action: keep
  regex: 'example'

# Keep metrics only if `example_label` equals `value_1` or `value_2`
metricRelabelings:
- sourceLabels: [example_label]
  action: keep
  regex: '(value_1|value_2)'

# Keep metrics only if `example_label_1 = value_1` and `example_label_2 = value_2`
metricRelabelings:
- sourceLabels: [example_label_1, example_label_2]
  separator: ';'
  action: keep
  regex: 'value_1;value_2'

# Keep metrics only if `example_label` exists as a label
metricRelabelings:
- sourceLabels: [example_label_1]
  action: keep
  regex: '.+'

現在、スクレイピング構成のターゲット検出方法としてサポートされているのは、ターゲットの指定または検出のための static_configs または kubernetes_sd_configs のいずれかです。

静的構成

静的構成には、静的ターゲットと、それらに追加する追加ラベルの一覧が含まれます。

scrape_configs:
  - job_name: example
    - targets: [ '10.10.10.1:9090', '10.10.10.2:9090', '10.10.10.3:9090' ... ]
    - labels: [ label1: value1, label1: value2, ... ]

Kubernetes サービス検出の構成

kubernetes_sd_configs を使用して検出されるターゲットの __meta_* ラベルは、指定されたロールに応じてそれぞれ異なります。 ラベルを relabel_configs セクションで使用して、ターゲットのフィルター処理やターゲットのラベルの置き換えを行うことができます。

Kubernetes クラスター用スクレイピング構成の Prometheus の例を参照してください。

ラベル書き換えの構成

relabel_configs セクションは、ターゲット検出時に適用され、ジョブの各ターゲットに適用されます。 次の例では、relabel_configs の使用方法を示します。

ラベルを追加する

値 example_value を持つ example_label という名前の新しいラベルを、ジョブのすべてのメトリックに追加します。 ラベル __address__ は常に存在し、ジョブのすべてのターゲットにラベルを追加するため、ソース ラベルとしてのみ使用します。

relabel_configs:
- source_labels: [__address__]
  target_label: example_label
  replacement: 'example_value'

Kubernetes サービス検出のラベルを使用する

ジョブで kubernetes_sd_configs を使用してターゲットを検出している場合、各ロールには、メトリックの __meta_* ラベルが関連付けられています。 __* ラベルは、ターゲットの検出後に削除されます。 メトリック レベルでこれらを使用してフィルター処理するには、まず、ラベル名を割り当てて relabel_configs の使用を維持します。 その後、metric_relabel_configs を使用してフィルター処理します。

# Use the kubernetes namespace as a label called 'kubernetes_namespace'
relabel_configs:
- source_labels: [__meta_kubernetes_namespace]
  action: replace
  target_label: kubernetes_namespace

# Keep only metrics with the kubernetes namespace 'default'
metric_relabel_configs:
- source_labels: [kubernetes_namespace]
  action: keep
  regex: 'default'

ジョブとインスタンスのラベルの書き換え

job および instance のラベル値は、他のラベルと同様に、ソース ラベルに基づいて変更することができます。

# Replace the job name with the pod label 'k8s app'
relabel_configs:
- source_labels: [__meta_kubernetes_pod_label_k8s_app]
  target_label: job

# Replace the instance name with the node name. This is helpful to replace a node IP
# and port with a value that is more readable
relabel_configs:
- source_labels: [__meta_kubernetes_node_name]]
  target_label: instance

メトリックのラベル書き換えの構成

メトリックのラベル書き換えの構成は、スクレイピング後、インジェストの前に適用されます。 スクレイピング後にメトリックをフィルター処理するには、metric_relabel_configs セクションを使用します。 次の例では、この実行方法を示します。

名前でメトリックを削除する

# Drop the metric named 'example_metric_name'
metric_relabel_configs:
- source_labels: [__name__]
  action: drop
  regex: 'example_metric_name'

特定のメトリックのみを名前で保持する

# Keep only the metric named 'example_metric_name'
metric_relabel_configs:
- source_labels: [__name__]
  action: keep
  regex: 'example_metric_name'

# Keep only metrics that start with 'example_'
metric_relabel_configs:
- source_labels: [__name__]
  action: keep
  regex: '(example_.*)'

メトリックの名前を変更する

メトリックの名前の変更はサポートされていません。

メトリックをラベルでフィルター処理する

# Keep metrics only where example_label = 'example'
metric_relabel_configs:
- source_labels: [example_label]
  action: keep
  regex: 'example'

# Keep metrics only if `example_label` equals `value_1` or `value_2`
metric_relabel_configs:
- source_labels: [example_label]
  action: keep
  regex: '(value_1|value_2)'

# Keep metrics only if `example_label_1 = value_1` and `example_label_2 = value_2`
metric_relabel_configs:
- source_labels: [example_label_1, example_label_2]
  separator: ';'
  action: keep
  regex: 'value_1;value_2'

# Keep metrics only if `example_label` exists as a label
metric_relabel_configs:
- source_labels: [example_label_1]
  action: keep
  regex: '.+'

relabel_configs:
- source_labels: [__address__]
  target_label: example_label
  replacement: 'example_value'

prometheus 構成で basic_auth 設定を使用している場合は、次の手順に従ってください。

1. kube-system 名前空間に ama-metrics-mtls-secret という名前のシークレットを作成する

password1 の値は base64encoded です。

キー password1 は何でもかまいませんが、scrapeconfig password_file ファイルパスと一致する必要があります。

apiVersion: v1
kind: Secret
metadata:
  name: ama-metrics-mtls-secret
  namespace: kube-system
type: Opaque
data:
  password1: <base64-encoded-string>

ama-metrics-mtls-secret シークレットは、パス /etc/prometheus/certs/ にある ama-metrics コンテナーにマウントされ、prometheus メトリックをスクレイピングするプロセスから使用できるようになります。 上記の例のキー (例 - password1) はファイル名になり、値は base64 でデコードされてコンテナー内のファイルの内容に追加され、prometheus スクレイパーはこのファイルの内容を使用し、エンドポイントのスクレーピングに使われるパスワードとして使われる値を取得します。

2. カスタム スクレイピング構成の configmap で、次の設定を使用します。 ユーザー名フィールドには、実際のユーザー名文字列が含まれている必要があります。 password_file フィールドには、パスワードを含むファイルへのパスが含まれている必要があります。

basic_auth:
  username: <username string>
  password_file: /etc/prometheus/certs/password1

上記の password_file のパスを指定すると、prometheus スクレイパーはパス /etc/prometheus/certs にある password1 というファイルの内容を基本認証ベースのスクレイピングのパスワードの値として使用します。

現在、ポッドまたはサービス モニターを使用して基本認証を使うターゲットをスクレイピングすることはサポートされていません。 これに対するサポートは、今後のリリースで追加される予定です。

• configmap で TLS 構成設定を指定するには、次の例に従ってください。

tls_config:
    ca_file: /etc/prometheus/certs/<certfile> # since it is self-signed
    cert_file: /etc/prometheus/certs/<certfile>
    key_file: /etc/prometheus/certs/<keyfile>
    insecure_skip_verify: false

• CRD (ポッドまたはサービス モニター) で TLS 構成設定を指定するには、次の例に従ってください。

 tlsConfig:
   ca:
     secret:
       key: "<certfile>" # since it is self-signed
       name: "ama-metrics-mtls-secret"
   cert:
     secret:
       key: "<certfile>"
       name: "ama-metrics-mtls-secret"
   keySecret:
       key: "<keyfile>"
       name: "ama-metrics-mtls-secret"
   insecureSkipVerify: false