Azure Monitor Prometheus용 관리 서비스에서 Prometheus 메트릭 스크래핑 사용자 지정

Pod 및 Service Monitor 템플릿을 사용하고 API 사양에 따라 사용자 지정 리소스(PodMonitor 및 Service Monitor)를 만듭니다. 참고 관리되는 Prometheus에서 선택하기 위해 기존 OSS CR에 필요한 유일한 변경 내용은 API 그룹(azmonitoring.coreos.com/v1)입니다. 자세한 내용은 여기를 참조하세요.

구성 형식은 Prometheus 구성 파일과 동일합니다. 현재 다음 섹션이 지원됩니다.

global:
  scrape_interval: <duration>
  scrape_timeout: <duration>
  external_labels:
    <labelname1>: <labelvalue>
    <labelname2>: <labelvalue>
scrape_configs:
  - <job-x>
  - <job-y>

지원되지 않는 다른 섹션은 configmap으로 적용되기 전에 구성에서 제거해야 합니다. 그렇지 않으면 사용자 지정 구성의 유효성이 검사에 실패하고 적용되지 않습니다.

구성 파일 적용 섹션을 참조하여 prometheus 구성에서 configmap을 만듭니다.

현재 사용자 지정 리소스에 대해 지원되는 대상 검색 방법은 Pod 및 서비스 모니터입니다.

Pod 및 서비스 모니터

Pod 및 서비스 모니터를 사용하여 발견된 대상에는 사용되는 모니터에 따라 다른 __meta_* 레이블이 있습니다. relabelings 섹션의 레이블을 사용하여 대상을 필터링하거나 대상의 레이블을 바꿀 수 있습니다.

Pod 및 서비스 모니터의 Pod 및 서비스 모니터 예를 참조하세요.

레이블 재지정

relabelings 섹션은 대상 검색 시 적용되며 작업의 각 대상에 적용됩니다. 다음 예에서는 relabelings를 사용하는 방법을 보여 줍니다.

레이블 추가

작업의 모든 메트릭에 값이 example_value인 example_label이라는 새 레이블을 추가합니다. 해당 레이블이 항상 존재하고 작업의 모든 대상에 대한 레이블을 추가하기 때문에 __address__를 원본 레이블로만 사용합니다.

relabelings:
- sourceLabels: [__address__]
  targetLabel: example_label
  replacement: 'example_value'

Pod 또는 서비스 모니터 레이블 사용

Pod 및 서비스 모니터를 사용하여 발견된 대상에는 사용되는 모니터에 따라 다른 __meta_* 레이블이 있습니다. 대상을 검색한 후 __* 레이블이 삭제됩니다. 메트릭 수준에서 사용하여 필터링하려면 먼저 레이블 이름을 할당하여 relabelings를 사용하여 유지합니다. 그런 다음 metricRelabelings를 사용하여 필터링합니다.

# Use the kubernetes namespace as a label called 'kubernetes_namespace'
relabelings:
- sourceLabels: [__meta_kubernetes_namespace]
  action: replace
  targetLabel: kubernetes_namespace

# Keep only metrics with the kubernetes namespace 'default'
metricRelabelings:
- sourceLabels: [kubernetes_namespace]
  action: keep
  regex: 'default'

작업 및 인스턴스 레이블 재지정

다른 레이블과 마찬가지로 원본 레이블을 기반으로 job 및 instance 레이블 값을 변경할 수 있습니다.

# Replace the job name with the pod label 'k8s app'
relabelings:
- sourceLabels: [__meta_kubernetes_pod_label_k8s_app]
  targetLabel: job

# Replace the instance name with the node name. This is helpful to replace a node IP
# and port with a value that is more readable
relabelings:
- sourceLabels: [__meta_kubernetes_node_name]]
  targetLabel: instance

메트릭 레이블 재지정

메트릭 레이블 재지정은 스크래핑 후 및 수집 전에 적용됩니다. metricRelabelings 섹션을 사용하여 스크래핑 후 메트릭을 필터링합니다. 다음 예에서는 이를 수행하는 방법을 보여 줍니다.

이름으로 메트릭 삭제

# Drop the metric named 'example_metric_name'
metricRelabelings:
- sourceLabels: [__name__]
  action: drop
  regex: 'example_metric_name'

이름으로 특정 메트릭만 유지

# Keep only the metric named 'example_metric_name'
metricRelabelings:
- sourceLabels: [__name__]
  action: keep
  regex: 'example_metric_name'

# Keep only metrics that start with 'example_'
metricRelabelings:
- sourceLabels: [__name__]
  action: keep
  regex: '(example_.*)'

메트릭 이름 바꾸기

메트릭 이름 바꾸기는 지원되지 않습니다.

레이블별로 메트릭 필터링

# Keep metrics only where example_label = 'example'
metricRelabelings:
- sourceLabels: [example_label]
  action: keep
  regex: 'example'

# Keep metrics only if `example_label` equals `value_1` or `value_2`
metricRelabelings:
- sourceLabels: [example_label]
  action: keep
  regex: '(value_1|value_2)'

# Keep metrics only if `example_label_1 = value_1` and `example_label_2 = value_2`
metricRelabelings:
- sourceLabels: [example_label_1, example_label_2]
  separator: ';'
  action: keep
  regex: 'value_1;value_2'

# Keep metrics only if `example_label` exists as a label
metricRelabelings:
- sourceLabels: [example_label_1]
  action: keep
  regex: '.+'

스크랩 구성에 대해 현재 지원되는 대상 검색 메서드는 대상을 지정하거나 검색하기 위한 static_configs 또는 kubernetes_sd_configs입니다.

정적 구성

정적 구성에는 정적 대상 목록과 추가할 추가 레이블이 있습니다.

scrape_configs:
  - job_name: example
    - targets: [ '10.10.10.1:9090', '10.10.10.2:9090', '10.10.10.3:9090' ... ]
    - labels: [ label1: value1, label1: value2, ... ]

Kubernetes 서비스 검색 구성

kubernetes_sd_configs를 사용하여 검색된 대상은 지정된 역할에 따라 각각 다른 __meta_* 레이블을 갖습니다. relabel_configs 섹션의 레이블을 사용하여 대상을 필터링하거나 대상의 레이블을 바꿀 수 있습니다.

Kubernetes 클러스터에 대한 스크래핑 구성의 Prometheus 예제를 참조하세요.

레이블 재지정 구성

relabel_configs 섹션은 대상 검색 시 적용되며 작업의 각 대상에 적용됩니다. 다음 예에서는 relabel_configs를 사용하는 방법을 보여 줍니다.

레이블 추가

작업의 모든 메트릭에 값이 example_value인 example_label이라는 새 레이블을 추가합니다. 해당 레이블이 항상 존재하고 작업의 모든 대상에 대한 레이블을 추가하기 때문에 __address__를 원본 레이블로만 사용합니다.

relabel_configs:
- source_labels: [__address__]
  target_label: example_label
  replacement: 'example_value'

Kubernetes 서비스 검색 레이블 사용

작업이 kubernetes_sd_configs를 사용하여 대상을 검색하는 경우 각 역할에는 메트릭에 대한 관련 __meta_* 레이블이 있습니다. 대상을 검색한 후 __* 레이블이 삭제됩니다. 메트릭 수준에서 사용하여 필터링하려면 먼저 레이블 이름을 할당하여 relabel_configs를 사용하여 유지합니다. 그런 다음 metric_relabel_configs를 사용하여 필터링합니다.

# Use the kubernetes namespace as a label called 'kubernetes_namespace'
relabel_configs:
- source_labels: [__meta_kubernetes_namespace]
  action: replace
  target_label: kubernetes_namespace

# Keep only metrics with the kubernetes namespace 'default'
metric_relabel_configs:
- source_labels: [kubernetes_namespace]
  action: keep
  regex: 'default'

작업 및 인스턴스 레이블 재지정

다른 레이블과 마찬가지로 원본 레이블을 기반으로 job 및 instance 레이블 값을 변경할 수 있습니다.

# Replace the job name with the pod label 'k8s app'
relabel_configs:
- source_labels: [__meta_kubernetes_pod_label_k8s_app]
  target_label: job

# Replace the instance name with the node name. This is helpful to replace a node IP
# and port with a value that is more readable
relabel_configs:
- source_labels: [__meta_kubernetes_node_name]]
  target_label: instance

메트릭 레이블 재지정 구성

메트릭 레이블 재지정 구성은 스크래핑 후, 수집 전에 적용됩니다. metric_relabel_configs 섹션을 사용하여 스크래핑 후 메트릭을 필터링합니다. 다음 예에서는 이를 수행하는 방법을 보여 줍니다.

이름으로 메트릭 삭제

# Drop the metric named 'example_metric_name'
metric_relabel_configs:
- source_labels: [__name__]
  action: drop
  regex: 'example_metric_name'

이름으로 특정 메트릭만 유지

# Keep only the metric named 'example_metric_name'
metric_relabel_configs:
- source_labels: [__name__]
  action: keep
  regex: 'example_metric_name'

# Keep only metrics that start with 'example_'
metric_relabel_configs:
- source_labels: [__name__]
  action: keep
  regex: '(example_.*)'

메트릭 이름 바꾸기

메트릭 이름 바꾸기는 지원되지 않습니다.

레이블별로 메트릭 필터링

# Keep metrics only where example_label = 'example'
metric_relabel_configs:
- source_labels: [example_label]
  action: keep
  regex: 'example'

# Keep metrics only if `example_label` equals `value_1` or `value_2`
metric_relabel_configs:
- source_labels: [example_label]
  action: keep
  regex: '(value_1|value_2)'

# Keep metrics only if `example_label_1 = value_1` and `example_label_2 = value_2`
metric_relabel_configs:
- source_labels: [example_label_1, example_label_2]
  separator: ';'
  action: keep
  regex: 'value_1;value_2'

# Keep metrics only if `example_label` exists as a label
metric_relabel_configs:
- source_labels: [example_label_1]
  action: keep
  regex: '.+'

relabel_configs:
- source_labels: [__address__]
  target_label: example_label
  replacement: 'example_value'

Prometheus 구성에서 basic_auth 설정을 사용하는 경우 다음 단계를 따릅니다.

1. ama-metrics-mtls-secret이라는 이름의 kube-system 네임스페이스에 비밀을 만듭니다.

password1의 값은 base64encoded입니다.

password1 키는 무엇이든 가능하지만 scrapeconfig password_file 파일 경로와 일치해야 합니다.

apiVersion: v1
kind: Secret
metadata:
  name: ama-metrics-mtls-secret
  namespace: kube-system
type: Opaque
data:
  password1: <base64-encoded-string>

ama-metrics-mtls-secret 비밀은 /etc/prometheus/certs/ 경로의 ama-metrics 컨테이너에 탑재되며 prometheus 메트릭을 스크래핑하는 프로세스에서 사용할 수 있습니다. 위 예제의 키(예 - password1)는 파일 이름이고 값은 base64로 디코딩되어 컨테이너 내의 파일 내용에 추가되고 prometheus 스크래퍼는 이 파일의 내용을 사용하여 엔드포인트를 스크래핑하는 데 사용되는 암호로 사용되는 값을 가져옵니다.

2. 사용자 지정 스크랩 구성을 위한 configmap에서 다음 설정을 사용합니다. 사용자 이름 필드에는 실제 사용자 이름 문자열이 포함되어야 합니다. password_file 필드에는 암호가 포함된 파일 경로가 포함되어야 합니다.

basic_auth:
  username: <username string>
  password_file: /etc/prometheus/certs/password1

위의 password_file의 경로를 제공하여 prometheus 스크래퍼는 /etc/prometheus/certs 경로에서 password1이라는 파일의 내용을 기본 인증 기반 스크래핑에 대한 암호 값으로 사용합니다.

현재는 Pod/서비스 모니터를 사용하여 기본 인증으로 대상을 스크래핑하는 것이 지원되지 않습니다. 이에 대한 지원은 향후 릴리스에서 추가될 예정입니다.

• configmap에서 TLS 구성 설정을 제공하려면 아래 예제를 따르세요.

tls_config:
    ca_file: /etc/prometheus/certs/<certfile> # since it is self-signed
    cert_file: /etc/prometheus/certs/<certfile>
    key_file: /etc/prometheus/certs/<keyfile>
    insecure_skip_verify: false

• CRD(Pod/Service Monitor)에서 TLS 구성 설정을 제공하려면 아래 예제를 따르세요.

 tlsConfig:
   ca:
     secret:
       key: "<certfile>" # since it is self-signed
       name: "ama-metrics-mtls-secret"
   cert:
     secret:
       key: "<certfile>"
       name: "ama-metrics-mtls-secret"
   keySecret:
       key: "<keyfile>"
       name: "ama-metrics-mtls-secret"
   insecureSkipVerify: false