Problembehandlung einer Speichersättigung in AKS-Clustern

Artikel
10/15/2024

In diesem Artikel werden Methoden zur Problembehandlung von Speichersättigungsproblemen erläutert. Die Speichersättigung tritt auf, wenn mindestens eine Anwendung oder ein Prozess mehr Arbeitsspeicher benötigt, als ein Containerhost bereitstellen kann, oder wenn der Host den verfügbaren Speicher auslastet.

Voraussetzungen

Das Kubernetes kubectl-Befehlszeilentool . Führen Sie zum Installieren von Kubectl mithilfe der Azure CLI den Befehl "az aks install-cli " aus.

Symptome

In der folgenden Tabelle sind die allgemeinen Symptome der Speichersättigung beschrieben.

Symptom	Beschreibung
Ungeplante Pods	Zusätzliche Pods können nicht geplant werden, wenn der Knoten nahe an seinem festgelegten Speichergrenzwert liegt.
Pod Eviction	Wenn ein Knoten nicht mehr genügend Arbeitsspeicher hat, kann das Kubelet Pods entfernen. Obwohl die Steuerungsebene versucht, die entfernten Pods auf anderen Knoten mit Ressourcen neu zu planen, besteht keine Garantie dafür, dass andere Knoten über ausreichend Arbeitsspeicher verfügen, um diese Pods auszuführen.
Knoten nicht bereit	Die Speichersättigung kann dazu führen `kubelet` , dass `containerd` sie nicht mehr reagiert und schließlich Probleme mit der Knotenbereitschaft verursacht.
Out-of-Memory (OOM) Kill	Ein OOM-Problem tritt auf, wenn die Pod-Eviction ein Knotenproblem nicht verhindern kann.

Checkliste zur Problembehandlung

Um die Speichersättigung zu reduzieren, verwenden Sie effektive Überwachungstools und wenden Bewährte Methoden an.

Schritt 1: Identifizieren von Knoten mit Speichersättigung

Verwenden Sie eine der folgenden Methoden, um Knoten mit Speichersättigung zu identifizieren:

Verwenden Sie in einem Webbrowser das Feature "Containereinblicke" von AKS im Azure-Portal.
Verwenden Sie in einer Konsole das Befehlszeilentool Kubernetes (Kubectl).

Browser
Befehlszeile

Container Insights ist ein Feature in AKS, das die Leistung der Containerarbeitsauslastung überwacht. Weitere Informationen finden Sie unter Enable Container Insights for Azure Kubernetes Service (AKS)-Cluster.

Suchen Sie im Azure-Portal nach Kubernetes-Diensten, und wählen Sie sie aus.
Wählen Sie in der Liste der Kubernetes-Dienste den Namen Ihres Clusters aus.
Suchen Sie im Navigationsbereich Ihres Clusters die Überschrift "Überwachung", und wählen Sie dann "Insights" aus.
Legen Sie den entsprechenden Zeitbereichswert fest.
Wählen Sie die Registerkarte "Knoten " aus.
Wählen Sie in der Metrikliste den Arbeitsspeicherarbeitssatz (berechnet von Allocatable) aus.
Legen Sie in der Quantilsauswahl das Beispiel auf "Max" fest, und wählen Sie dann zweimal die Spaltenbeschriftung "Max % " aus. Diese Aktion sortiert die Tabellenknoten nach dem maximalen Prozentsatz des verwendeten Arbeitsspeichers von der höchsten bis zur niedrigsten.

Es gibt vier Zeilen in der Tabelle, und sie stellen vier Knoten in einem VM-Skalierungssatz des AKS-Agentpools dar. Die Status sind alle **Ok**, der maximale Prozentsatz des verwendeten Arbeitsspeichers liegt zwischen 64 und 58 Prozent, der maximale Arbeitsspeicher liegt zwischen 2,6 GB und 2,86 GB, die Anzahl der verwendeten Container beträgt 20 bis 24, und die Uptime reicht von 6 bis 15 Tagen. Es werden keine Controller aufgelistet.
Da der erste Knoten die höchste Speicherauslastung aufweist, wählen Sie diesen Knoten aus, um die Speicherauslastung der auf dem Knoten ausgeführten Pods zu untersuchen.

Neun Prozesse werden unter dem Knoten aufgelistet. Die Status sind alle **OK**, der maximale Prozentsatz des für die Prozesse verwendeten Arbeitsspeichers reicht von 16 bis 0,3 Prozent, der maximale Speicherbedarf liegt zwischen 0,7 mc und 22 mc, die Anzahl der verwendeten Container beträgt 1 bis 3, und die Betriebszeit beträgt 3 bis 4 Tage. Im Gegensatz zu dem Knoten verfügen alle Prozesse über einen entsprechenden Controller. In diesem Screenshot sind die Controllernamen Präfixe der Prozessnamen, und sie werden verlinkt.

Notiz

Der Prozentsatz der CPU- oder Speicherauslastung für Pods basiert auf der für den Container angegebenen CPU-Anforderung. Er stellt nicht den Prozentsatz der CPU- oder Speicherauslastung für den Knoten dar. Sehen Sie sich also die tatsächliche CPU- oder Speicherauslastung anstelle des Prozentsatzes der CPU- oder Speicherauslastung für Pods an.

In diesem Verfahren werden die Kubectl-Befehle in einer Konsole verwendet. Er zeigt nur den aktuellen Zustand der Knoten an.

Rufen Sie die Speicherauslastung der Knoten ab, indem Sie den Befehl "kubectl top node " ausführen:

kubectl top node

Die Ausgabe dieses Befehls ähnelt dem folgenden Text:

NAME                                 CPU(cores)   CPU%   MEMORY(bytes)   MEMORY%
aks-agentpool-30486455-vmss000003    239m         12%    3148Mi          69%
aks-agentpool-30486455-vmss000005    326m         17%    2143Mi          46%
aks-testmemory-30616462-vmss000000   66m          3%     1532Mi          28%
aks-testmemory-30616462-vmss000001   90m          4%     1689Mi          31%
aks-testmemory-30616462-vmss000002   74m          3%     1715Mi          31%

Rufen Sie die Liste der Pods ab, die auf dem Knoten ausgeführt werden, und deren Speicherauslastung, indem Sie die Befehle kubectl get pods und kubectl top pods ausführen:

kubectl get pods --all-namespaces --output wide \
    | grep <node-name> \
    | awk '{print $1" "$2}' \
    | xargs -n2 kubectl top pods --namespace \
    | awk 'NR==1 || NR%2==0' \
    | sort -k3n \
    | column -t

Notiz

Ersetzen Sie <in diesem Codeausschnitt den Knotennamen> durch den tatsächlichen Knotennamen.

Die Ausgabe des Codeausschnitts ähnelt dem folgenden Text:

NAME                                 CPU(cores)   MEMORY(bytes)
coredns-autoscaler-5655d66f64-9fp2k  1m           7Mi
shippingservice-7946db7679-qzplg     6m           15Mi
azure-ip-masq-agent-tb8xv            1m           16Mi
cloud-node-manager-wggqd             1m           16Mi
kube-proxy-c244z                     1m           22Mi
coredns-59b6bf8b4f-5zg5s             3m           24Mi
coredns-59b6bf8b4f-5x62d             3m           25Mi
currencyservice-7977f668dc-rvbwm     12m          32Mi
csi-azurefile-node-9fcx8             2m           38Mi
metrics-server-5f8d84558d-frsq4      4m           42Mi
metrics-server-5f8d84558d-rc5nj      4m           43Mi
csi-azuredisk-node-9fh7h             2m           46Mi
adservice-795589cf6f-xs66r           4m           87Mi
ama-metrics-node-54sfj               16m          249Mi
ama-logs-rs-6db98d6dff-vj4xw         13m          259Mi
ama-logs-w5bmd                       12m          403Mi

Überprüfen Sie die Anforderungen und Grenzwerte für jeden Pod auf dem Knoten, indem Sie den Befehl "kubectl describe node " ausführen:

kubectl describe node <node-name>

Die Ausgabe dieses Befehls ähnelt dem folgenden Text:

  Namespace    Name                                 CPU Requests  CPU Limits  Memory Requests  Memory Limits  Age
  ---------    ----                                 ------------  ----------  ---------------  -------------  ---
  default      adservice-795589cf6f-dgrx7           200m (10%)    300m (15%)  180Mi (3%)       300Mi (6%)     49m
  default      cartservice-6d994d9676-tcr6m         200m (10%)    300m (15%)  64Mi (1%)        128Mi (2%)     49m
  default      frontend-848d9f9dc9-x712b            100m (5%)     200m (10%)  64Mi (1%)        128Mi (2%)     49m
  default      loadgenerator-5c9656f8d6-7vmjr       300m (15%)    500m (26%)  256Mi (5%)       512Mi (11%)    38m
  default      redis-cart-799c85c644-vzpjl          70m (3%)      125m (6%)   200Mi (4%)       256Mi (5%)     49m
  kube-system  ama-logs-zs4qf                       150m (7%)     1 (52%)     550Mi (12%)      1774Mi (38%)   16h
  kube-system  azure-ip-masq-agent-rqqpn            100m (5%)     500m (26%)  50Mi (1%)        250Mi (5%)     16h
  kube-system  cloud-node-manager-nbnrq             50m (2%)      0 (0%)      50Mi (1%)        512Mi (11%)    16h
  kube-system  coredns-59b6bf8b4f-m2prf             100m (5%)     3 (157%)    70Mi (1%)        500Mi (10%)    16h
  kube-system  csi-azuredisk-node-h445m             30m (1%)      0 (0%)      60Mi (1%)        400Mi (8%)     16h
  kube-system  csi-azurefile-node-489cp             30m (1%)      0 (0%)      60Mi (1%)        600Mi (13%)    16h
  kube-system  konnectivity-agent-665c7dfdb8-25p2f  20m (1%)      1 (52%)     20Mi (1%)        1Gi (22%)      15h
  kube-system  kube-proxy-v9gp4                     100m (5%)     0 (0%)      0 (0%)           0 (0%)         16h
Allocated resources:
  ...

Notiz

Der Prozentsatz der CPU- oder Speicherauslastung für den Knoten basiert auf den allocatable-Ressourcen auf dem Knoten und nicht auf der tatsächlichen Knotenkapazität.

Nachdem Sie nun die Pods identifiziert haben, die einen hohen Arbeitsspeicher verwenden, können Sie die Anwendungen identifizieren, die auf dem Pod ausgeführt werden.

Schritt 2: Überprüfen bewährter Methoden zum Vermeiden der Speichersättigung

In der folgenden Tabelle erfahren Sie, wie Sie bewährte Methoden zum Vermeiden der Speichersättigung implementieren.

Bewährte Methode	Beschreibung
Verwenden von Speicheranforderungen und Grenzwerten	Kubernetes bietet Optionen zum Angeben der Mindestspeichergröße (Anforderung) und der maximalen Speichergröße (Grenzwert) für einen Container. Durch das Konfigurieren von Grenzwerten für Pods können Sie Arbeitsspeicherauslastung auf dem Knoten vermeiden. Stellen Sie sicher, dass die Aggregatlimits für alle ausgeführten Pods den verfügbaren Arbeitsspeicher des Knotens nicht überschreiten. Diese Situation wird als Überlastung bezeichnet. Der Kubernetes-Scheduler weist Ressourcen basierend auf festgelegten Anforderungen und Grenzwerten über Quality of Service (QoS) zu. Ohne geeignete Grenzwerte plant der Scheduler möglicherweise zu viele Pods auf einem einzelnen Knoten. Dadurch kann es letztendlich zum Ausfall des Knotens kommen. Außerdem werden, während kubelet Pods entfernt, Pods priorisiert, bei denen die Speicherauslastung deren definierte Anforderungen überschreitet. Es wird empfohlen, die Arbeitsspeicheranforderung auf einen Wert nahe der tatsächlichen Nutzung festzulegen.
Aktivieren der automatischen Skalierung des horizontalen Pods	Durch Skalieren des Clusters können Sie die Anforderungen auf viele Pods verteilen, um Speicherauslastung zu verhindern. Diese Methode kann den Speicherbedarf auf dem spezifischen Knoten reduzieren.
Verwenden von Antiaffinitätstags	In Szenarien, in denen Arbeitsspeicher vom Entwurf her keinen Einschränkungen unterliegt, können Sie Knotenselektoren und Affinitäts- oder Antiaffinitätstags verwenden, wodurch die Workload auf bestimmte Knoten isoliert werden kann. Mithilfe von Antiaffinitätstags können Sie verhindern, dass andere Workloads Pods auf diesen Knoten planen. Dadurch wird das Problem der Speicherauslastung verringert.
Auswählen höherer SKU-VMs	Virtuelle Computer (VMs), die über mehr Arbeitsspeicher (Random Access Memory, RAM) verfügen, eignen sich besser für die Verarbeitung einer hohen Arbeitsspeicherauslastung. Um diese Option verwenden zu können, müssen Sie einen neuen Knotenpool erstellen, die Knoten absperren (sie unplanbar machen) und den vorhandenen Knotenpool ausgleichen.
Isolieren von System- und Benutzerworkloads	Es wird empfohlen, Ihre Anwendungen in einem Benutzerknotenpool auszuführen. Diese Konfiguration stellt sicher, dass Sie die Kubernetes-spezifischen Pods im Systemknotenpool isolieren und die Clusterleistung aufrechterhalten können.

Weitere Informationen

Informationen zum Haftungsausschluss von Drittanbietern

Die in diesem Artikel genannten Drittanbieterprodukte stammen von Herstellern, die von Microsoft unabhängig sind. Microsoft gewährt keine implizite oder sonstige Garantie in Bezug auf die Leistung oder Zuverlässigkeit dieser Produkte.

Haftungsausschluss für Kontaktinformationen von Drittanbietern

Die Kontaktinformationen zu den in diesem Artikel erwähnten Drittanbietern sollen Ihnen helfen, zusätzliche Informationen zu diesem Thema zu finden. Diese Kontaktinformationen können ohne vorherige Ankündigung geändert werden. Sie werden von Microsoft ohne jede Gewähr weitergegeben.

Kontaktieren Sie uns für Hilfe

Wenn Sie Fragen haben oder Hilfe mit Ihren Azure-Gutschriften benötigen, dann erstellen Sie beim Azure-Support eine Support-Anforderung oder fragen Sie den Azure Community-Support. Sie können auch Produktfeedback an die Azure Feedback Community senden.

Freigeben über