Personalizar a captura de métricas do Prometheus no serviço gerenciado do Azure Monitor para o Prometheus

Este artigo fornece instruções sobre como personalizar a extração de métricas para um cluster do Kubernetes com o complemento de métricas no Azure Monitor.

Configmaps

Quatro configmaps diferentes podem ser configurados para fornecer configuração da extração e outras configurações para o complemento de métricas. Todos os mapas de configuração devem ser aplicados ao namespace kube-system de qualquer cluster.

1. ama-metrics-settings-configmap Esse mapa de configuração tem abaixo configurações simples que podem ser definidas. Você pode pegar o configmap do repositório do GitHub acima, alterar as configurações necessárias e aplicar/implantar o configmap no namespace kube-system do cluster
   • alias do cluster (para alterar o valor do rótulo cluster em cada série temporal/métrica que é ingerida de um cluster)
   • ativar/desativar destinos de extração padrão: ATIVA/DESATIVA a extração padrão com base em destinos. A configuração de extração para esses alvos padrão já está predefinida/integrada
   • habilitar extração baseada em anotações do pod por namespace
   • listas de manutenção de métricas: esta configuração é usada para controlar quais métricas estão listadas para serem permitidas em cada destino padrão e para alterar o comportamento padrão
   • intervalos de extração para destinos padrão/predefinidos. 30 secs é a frequência de extração padrão e pode ser alterada pelo destino padrão usando esse configmap
   • modo de depuração: ativar isso ajuda a depurar problemas de métrica/ingestão ausentes; veja mais na solução de problemas
2. ama-metrics-prometheus-config Esse mapa de configuração pode ser usado para fornecer a configuração de extração do Prometheus para complemento de réplica. O complemento executa uma réplica singleton, sendo que qualquer serviço em nível de cluster pode ser descoberto e copiado fornecendo trabalhos de extração neste configmap. Você pode pegar o exemplo de configmap do repositório GitHub acima, adicionar os trabalhos de extração necessários e aplicar/implantar o configmap no namespace kube-system do seu cluster. Embora haja suporte para isso, observe que a maneira recomendada de raspar destinos personalizados é usar recursos personalizados
3. ama-metrics-prometheus-config-node (Avançado) Esse mapa de configuração pode ser usado para fornecer a configuração de extrair do Prometheus para o DaemonSet do addon que é executado em cada nó do Linux no cluster, e quaisquer destinos de nível de nó em cada nó podem ser raspados fornecendo trabalhos de raspagem neste mapa de configurações. Ao usar esse configmap, você poderá usar a variável $NODE_IP na sua configuração de extração, que é substituída pelo endereço IP do nó correspondente no pod do DaemonSet em execução em cada nó. Dessa forma, você tem acesso para extrair qualquer coisa que seja executada nesse nó a partir do complemento de métricas DaemonSet. Tenha cuidado ao usar as descobertas na configuração de extração nesse mapa de configuração em nível de nó, pois cada nó do cluster configurará e descobrirá os destinos e coletará métricas redundantes. Você pode pegar o exemplo de configmap do repositório GitHub acima, adicionar os trabalhos de extração necessários e aplicar/implantar o configmap no namespace kube-system do seu cluster
4. ama-metrics-prometheus-config-node-windows (Advanced) Este mapa de configuração pode ser usado para fornecer a configuração de extrair do Prometheus para o daemonSet de complemento que é executado em cada nó do Windows no cluster, e os destinos de nível de nó em cada nó podem ser raspados fornecendo trabalhos de raspagem neste mapa de configurações. Ao usar esse configmap, você poderá usar a variável $NODE_IP na sua configuração de extração, que será substituída pelo endereço IP do nó correspondente no pod do DaemonSet em execução em cada nó. Dessa forma, você tem acesso para extrair qualquer coisa que seja executada nesse nó a partir do complemento de métricas DaemonSet. Tenha cuidado ao usar as descobertas na configuração de extração nesse mapa de configuração em nível de nó, pois cada nó do cluster configurará e descobrirá os destinos e coletará métricas redundantes. Você pode pegar o exemplo de configmap do repositório GitHub acima, adicionar os trabalhos de extração necessários e aplicar/implantar o configmap no namespace kube-system do seu cluster

Definições de Recurso Personalizado

O complemento de métricas do Azure Monitor dá suporte à eliminação de métricas do Prometheus usando o Prometheus – Monitores de Pod e Monitores de Serviço, semelhante ao operador Prometheus do OSS. Habilitar o complemento implantará as definições de recursos personalizados do Pod e do Service Monitor para permitir que você crie seus próprios recursos personalizados. Siga as instruções para criar e aplicar recursos personalizados em seu cluster.

Configurações do complemento de métricas do configmap

O ama-metrics-settings-configmap pode ser baixado, editado e aplicado ao cluster para personalizar os recursos prontos para uso do complemento de métricas.

Habilitar ou desabilitar os destinos padrão

A tabela a seguir tem uma lista de todos os destinos padrão que o complemento de métricas do Azure Monitor pode extrair por padrão e se ele estiver inicialmente habilitado. Os destinos padrão são extraídos a cada 30 segundos. Uma réplica é implantada para extrair destinos em todo o cluster, como o kube-state-metrics. Um DaemonSet também é implantado para extrair destinos em todo o nó, como o kubelet.

Se você quiser ativar a extração dos destinos padrão que não estão habilitados por padrão, edite o configmap ama-metrics-settings-configmap para atualizar os destinos listados em default-scrape-settings-enabled para true. Aplicar o configmap ao cluster.

Habilitar a extração baseada em anotação de pod

Anotações podem ser adicionadas aos pods para extrair pods de aplicativo sem a necessidade de criar uma configuração personalizada do Prometheus. A anotação prometheus.io/scrape: "true" é necessária para extrair o pod. As anotações prometheus.io/path e prometheus.io/port indicam o caminho e a porta em que as métricas estão hospedadas no pod. As anotações de um pod que está hospedando métricas em <pod IP>:8080/metrics seriam:

metadata:   
  annotations:
    prometheus.io/scrape: 'true'
    prometheus.io/path: '/metrics'
    prometheus.io/port: '8080'

A extração desses pods com anotações específicas é desabilitada por padrão. Para habilitar, no ama-metrics-settings-configmap, adicione o regex para os namespaces dos pods com anotações que você deseja extrair como o valor do campo podannotationnamespaceregex.

Por exemplo, a configuração a seguir extrai pods com anotações somente nos namespaces kube-system e my-namespace:

pod-annotation-based-scraping: |-
    podannotationnamespaceregex = "kube-system|my-namespace"

Para habilitar a extração de pods com anotações em todos os namespaces, use:

pod-annotation-based-scraping: |-
    podannotationnamespaceregex = ".*"

Personalizar a métricas coletadas pelos destinos padrão

Por padrão, para todos os destinos padrão, apenas as métricas mínimas usadas nas regras de gravação padrão, alertas e dashboards do Grafana são ingeridos conforme descrito em minimal-ingestion-profile. Para coletar todas as métricas dos destinos padrão, atualize o keep-lists no configmap de configurações em default-targets-metrics-keep-list e defina minimalingestionprofile como false.

Para permitir a lista de mais métricas além das métricas padrão listadas como permitidas, para qualquer destino padrão, edite as configurações em default-targets-metrics-keep-list para o trabalho correspondente que você deseja alterar.

Por exemplo, kubelet é a configuração de filtragem de métrica para o kubelet de destino padrão. Use o seguinte script para filtrar nas métricas coletadas para os destinos padrão usando a filtragem baseada em regex.

kubelet = "metricX|metricY"
apiserver = "mymetric.*"

Para personalizar ainda mais os trabalhos padrão para alterar propriedades como frequência de coleta ou rótulos, desabilite o destino padrão correspondente definindo o valor do configmap do destino como false. Em seguida, aplique o trabalho utilizando um configmap personalizado. Para obter detalhes sobre a configuração personalizada, consulte Personalizar a extração de métricas do Prometheus no Azure Monitor.

Alias de cluster

O rótulo do cluster anexado a cada série temporal extraída usa a última parte da ID de recurso do Azure Resource Manager de todo o cluster AKS. Por exemplo, se a ID do recurso for /subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourcegroups/rg-name/providers/Microsoft.ContainerService/managedClusters/myclustername, o rótulo do cluster será myclustername.

Para substituir o rótulo de cluster na série temporal extraída, atualize a configuração cluster_alias para qualquer cadeia de caracteres em prometheus-collector-settings no configmap ama-metrics-settings-configmap. Você pode criar esse configmap se ele não existir no cluster ou pode editar o existente se ele já existir no seu cluster.

O novo rótulo também aparece no menu suspenso de parâmetros do cluster nos painéis do Grafana, em vez do padrão.

Modo de depuração

Para exibir todas as métricas que estão sendo extraídas para fins de depuração, o agente de complemento de métricas pode ser configurado para ser executado no modo de depuração atualizando a configuração enabled para true na configuração debug-mode no configmap ama-metrics-settings-configmap. É possível criar esse configmap ou editar um existente. Para obter mais informações, confira a seção Modo de depuração na Solução de problemas da coleção de métricas do Prometheus.

Configurações de intervalo de extração

Para atualizar as configurações do intervalo de extração para qualquer destino, você pode atualizar a duração na configuração default-targets-scrape-interval-settings desse destino no configmap ama-metrics-settings-configmap. Você precisa definir os intervalos de extração no formato correto especificado neste site. Caso contrário, o valor padrão de 30 segundos será aplicado aos destinos correspondentes. Por exemplo, se você quiser atualizar o intervalo de extração do trabalho kubelet para 60s, você poderá atualizar a seção a seguir no YAML:

default-targets-scrape-interval-settings: |-
    kubelet = "60s"
    coredns = "30s"
    cadvisor = "30s"
    kubeproxy = "30s"
    apiserver = "30s"
    kubestate = "30s"
    nodeexporter = "30s"
    windowsexporter = "30s"
    windowskubeproxy = "30s"
    kappiebasic = "30s"
    prometheuscollectorhealth = "30s"
    podannotations = "30s"

e aplique o YAML usando o comando a seguir: kubectl apply -f .\ama-metrics-settings-configmap.yaml

Configurar trabalhos personalizados de extração do Prometheus

Você pode raspar as métricas do Prometheus usando o Prometheus – Monitores de Pod e Monitores de Serviço(Recomendado), semelhante ao operador Prometheus do OSS. Siga as instruções para criar e aplicar recursos personalizados em seu cluster.

Além disso, você pode seguir as instruções para criar, validar e aplicar o configmap ao seu cluster. O formato da configuração é semelhante ao arquivo de configuração do Prometheus.

Dicas e exemplos de configuração do Prometheus

Aprenda algumas dicas com os exemplos desta seção.

global:
  scrape_interval: <duration>
  scrape_timeout: <duration>
  external_labels:
    <labelname1>: <labelvalue>
    <labelname2>: <labelvalue>
scrape_configs:
  - <job-x>
  - <job-y>

Se você quiser usar as configurações globais que se aplicam a todos os trabalhos de raspagem e só tiver Recursos Personalizados você ainda precisará criar um configmap apenas com as configurações globais(As configurações para cada um deles nos recursos personalizados substituirão as da seção global)

Configurações de extração

relabelings:
- sourceLabels: [__address__]
  targetLabel: example_label
  replacement: 'example_value'

# Use the kubernetes namespace as a label called 'kubernetes_namespace'
relabelings:
- sourceLabels: [__meta_kubernetes_namespace]
  action: replace
  targetLabel: kubernetes_namespace

# Keep only metrics with the kubernetes namespace 'default'
metricRelabelings:
- sourceLabels: [kubernetes_namespace]
  action: keep
  regex: 'default'

# Replace the job name with the pod label 'k8s app'
relabelings:
- sourceLabels: [__meta_kubernetes_pod_label_k8s_app]
  targetLabel: job

# Replace the instance name with the node name. This is helpful to replace a node IP
# and port with a value that is more readable
relabelings:
- sourceLabels: [__meta_kubernetes_node_name]]
  targetLabel: instance

# Drop the metric named 'example_metric_name'
metricRelabelings:
- sourceLabels: [__name__]
  action: drop
  regex: 'example_metric_name'

# Keep only the metric named 'example_metric_name'
metricRelabelings:
- sourceLabels: [__name__]
  action: keep
  regex: 'example_metric_name'

# Keep only metrics that start with 'example_'
metricRelabelings:
- sourceLabels: [__name__]
  action: keep
  regex: '(example_.*)'

# Keep metrics only where example_label = 'example'
metricRelabelings:
- sourceLabels: [example_label]
  action: keep
  regex: 'example'

# Keep metrics only if `example_label` equals `value_1` or `value_2`
metricRelabelings:
- sourceLabels: [example_label]
  action: keep
  regex: '(value_1|value_2)'

# Keep metrics only if `example_label_1 = value_1` and `example_label_2 = value_2`
metricRelabelings:
- sourceLabels: [example_label_1, example_label_2]
  separator: ';'
  action: keep
  regex: 'value_1;value_2'

# Keep metrics only if `example_label` exists as a label
metricRelabelings:
- sourceLabels: [example_label_1]
  action: keep
  regex: '.+'

scrape_configs:
  - job_name: example
    - targets: [ '10.10.10.1:9090', '10.10.10.2:9090', '10.10.10.3:9090' ... ]
    - labels: [ label1: value1, label1: value2, ... ]

relabel_configs:
- source_labels: [__address__]
  target_label: example_label
  replacement: 'example_value'

# Use the kubernetes namespace as a label called 'kubernetes_namespace'
relabel_configs:
- source_labels: [__meta_kubernetes_namespace]
  action: replace
  target_label: kubernetes_namespace

# Keep only metrics with the kubernetes namespace 'default'
metric_relabel_configs:
- source_labels: [kubernetes_namespace]
  action: keep
  regex: 'default'

# Replace the job name with the pod label 'k8s app'
relabel_configs:
- source_labels: [__meta_kubernetes_pod_label_k8s_app]
  target_label: job

# Replace the instance name with the node name. This is helpful to replace a node IP
# and port with a value that is more readable
relabel_configs:
- source_labels: [__meta_kubernetes_node_name]]
  target_label: instance

# Drop the metric named 'example_metric_name'
metric_relabel_configs:
- source_labels: [__name__]
  action: drop
  regex: 'example_metric_name'

# Keep only the metric named 'example_metric_name'
metric_relabel_configs:
- source_labels: [__name__]
  action: keep
  regex: 'example_metric_name'

# Keep only metrics that start with 'example_'
metric_relabel_configs:
- source_labels: [__name__]
  action: keep
  regex: '(example_.*)'

# Keep metrics only where example_label = 'example'
metric_relabel_configs:
- source_labels: [example_label]
  action: keep
  regex: 'example'

# Keep metrics only if `example_label` equals `value_1` or `value_2`
metric_relabel_configs:
- source_labels: [example_label]
  action: keep
  regex: '(value_1|value_2)'

# Keep metrics only if `example_label_1 = value_1` and `example_label_2 = value_2`
metric_relabel_configs:
- source_labels: [example_label_1, example_label_2]
  separator: ';'
  action: keep
  regex: 'value_1;value_2'

# Keep metrics only if `example_label` exists as a label
metric_relabel_configs:
- source_labels: [example_label_1]
  action: keep
  regex: '.+'

relabel_configs:
- source_labels: [__address__]
  target_label: example_label
  replacement: 'example_value'

Autenticação Básica

apiVersion: v1
kind: Secret
metadata:
  name: ama-metrics-mtls-secret
  namespace: kube-system
type: Opaque
data:
  password1: <base64-encoded-string>

basic_auth:
  username: <username string>
  password_file: /etc/prometheus/certs/password1

Caso esteja usando autenticação básica e autenticação do TLS, consulte a seção abaixo. Para obter mais detalhes, consulte a seção de observação abaixo.

Extração baseada no TLS

Se você tiver uma instância do Prometheus atendida com o TLS e quiser extrair métricas dela, defina o esquema como https e as configurações do TLS no mapa de configurações ou no respectivo CRD. Siga as etapas abaixo.

1. Criar um segredo no namespace kube-system chamado ama-metrics-mtls-secret. Cada par chave-valor especificado na seção de dados do objeto secreto será montado como um arquivo separado neste local /etc/prometheus/certs com nomes de arquivos iguais às chaves especificadas na seção de dados. Os valores secretos devem ser codificados em base64 antes de colocá-los na seção de dados, como abaixo.

   Veja abaixo um exemplo de criação de segredo por meio do YAML.

   apiVersion: v1
   kind: Secret
   metadata:
     name: ama-metrics-mtls-secret
     namespace: kube-system
   type: Opaque
   data:
     <certfile>: base64_cert_content    
     <keyfile>: base64_key_content 
   

   O segredo ama-metrics-mtls-secret é montado nos contêineres ama-metrics no caminho - /etc/prometheus/certs/ e é disponibilizado para o processo que está extraindo as métricas do Prometheus. A chave( ex - certfile) no exemplo acima será o nome do arquivo e o valor é decodificado em base64 e adicionado ao conteúdo do arquivo dentro do contêiner e o extrator do Prometheus usa o conteúdo desse arquivo para obter o valor usado como a senha usada para extrair o ponto de extremidade.

2. Veja abaixo os detalhes sobre como fornecer as definições de configuração do TLS por meio de um mapa de configurações ou um CRD.

tls_config:
    ca_file: /etc/prometheus/certs/<certfile> # since it is self-signed
    cert_file: /etc/prometheus/certs/<certfile>
    key_file: /etc/prometheus/certs/<keyfile>
    insecure_skip_verify: false

 tlsConfig:
   ca:
     secret:
       key: "<certfile>" # since it is self-signed
       name: "ama-metrics-mtls-secret"
   cert:
     secret:
       key: "<certfile>"
       name: "ama-metrics-mtls-secret"
   keySecret:
       key: "<keyfile>"
       name: "ama-metrics-mtls-secret"
   insecureSkipVerify: false

Autenticação Básica e TLS

Caso queira usar as configurações básicas e de autenticação de TLS em seu configmap/CRD, apenas verifique se o segredo ama-metrics-mtls-secret inclui todos os arquivos(chaves) na seção de dados com seus valores codificados base 64 correspondentes, conforme mostrado abaixo.

apiVersion: v1
kind: Secret
metadata:
  name: ama-metrics-mtls-secret
  namespace: kube-system
type: Opaque
data:
  certfile: base64_cert_content    # used for Tls
  keyfile: base64_key_content      # used for Tls
  password1: base64-encoded-string # used for basic auth
  password2: base64-encoded-string # used for basic auth

Observação

Próximas etapas

Configurar alertas em métricas do Prometheus
Consulta de métricas do Prometheus
Saiba mais sobre a coleta de métricas do Prometheus