Sammeln von Protokollen aus Textdateien mit dem Azure Monitor-Agent und Erfassen in Microsoft Sentinel

In diesem Artikel wird beschrieben, wie Sie den „Benutzerdefinierte Protokolle über AMA“-Connector verwenden, um Protokolle im Textdateiformat schnell aus Netzwerk- oder Sicherheitsanwendungen, die auf Windows- oder Linux-Computern installiert sind, zu filtern und zu erfassen.

Viele Anwendungen protokollieren Daten nicht in standardmäßigen Protokollierungsdiensten wie Windows-Ereignisprotokoll oder Syslog, sondern in Textdateien. Sie können den Azure Monitor-Agent (AMA) verwenden, um Daten in Textdateien mit nicht standardmäßigen Formaten von Windows- und Linux-Computern zu sammeln. Der AMA kann die Daten zum Zeitpunkt der Erfassung auch umwandeln, um sie in verschiedene Felder zu parsen.

Weitere Informationen zu den Anwendungen, für die Microsoft Sentinel Lösungen zur Unterstützung der Protokollsammlung hat, finden Sie unter „Benutzerdefinierte Protokolle über AMA“-Datenkonnektor – Konfigurieren der Datenerfassung in Microsoft Sentinel aus speziellen Anwendungen.

Allgemeine Informationen zum Erfassen von benutzerdefinierten Protokollen aus Textdateien finden Sie unter Sammeln von Protokollen aus einer Textdatei mit Azure Monitor-Agent.

Voraussetzungen

Bevor Sie beginnen, müssen Sie die in diesem Abschnitt beschriebenen Ressourcen konfiguriert haben und über die entsprechenden Berechtigungen verfügen.

Microsoft Sentinel: Voraussetzungen

• Installieren Sie die Microsoft Sentinel-Lösung, die für Ihre Anwendung geeignet ist, und stellen Sie sicher, dass Sie über die Berechtigungen zum Ausführen der Schritte in diesem Artikel verfügen. Sie finden diese Lösungen im Inhaltshub in Microsoft Sentinel, und die Lösungen enthalten alle den „Benutzerdefinierte Protokolle über AMA“-Connector.

  Eine Liste der Anwendungen mit Lösungen im Inhaltshub finden Sie unter Spezifische Anweisungen pro Anwendung. Wenn für Ihre Anwendung keine Lösung verfügbar ist, installieren Sie die Lösung Benutzerdefinierte Protokolle über AMA.

  Weitere Informationen finden Sie unter Entdecken und Verwalten sofort einsatzbereiter Microsoft Sentinel-Inhalte.

• Azure-Konto mit den folgenden Azure RBAC-Rollen (Role-Based Access Control, rollenbasierte Zugriffssteuerung):

  Integrierte Rolle	Bereich	`Reason`
  - Mitwirkender von virtuellen Computern - Azure Connected Machine    Ressourcenadministrator*in	Virtuelle Computer (VMs) Skalierungsgruppen für virtuelle Computer Server mit Azure Arc-Unterstützung	Bereitstellen des Agents
  Jede Rolle, die die Aktion enthält Microsoft.Resources/deployments/*	Subscription Resource group Vorhandene Datensammlungsregel	So stellen Sie die Azure Resource Manager-Vorlagen bereit
  Überwachungsmitwirkender	Subscription Resource group Vorhandene Datensammlungsregel	Zum Erstellen oder Bearbeiten von Datensammlungsregeln

Voraussetzungen der Protokollweiterleitung

Bestimmte benutzerdefinierte Anwendungen werden in geschlossenen Appliances gehostet, die erfordern, dass ihre Protokolle an einen externen Protokollsammler bzw. eine externe Protokollweiterleitung gesendet werden. In einem solchen Szenario gelten die folgenden Voraussetzungen für die Protokollweiterleitung:

• Sie benötigen eine designierte Linux-VM als Protokollweiterleitung, um Protokolle zu sammeln.

  • Erstellen einer Linux-VM im Azure-Portal.
  • Linux-Betriebssysteme, die den Azure Monitor-Agent unterstützten.

• Wenn Ihre Protokollweiterleitung keine Azure-VM ist, muss der Azure Arc Connected Machine-Agent darauf installiert sein.

• Auf der Linux-VM mit der Protokollweiterleitung muss Python 2.7 oder 3 installiert sein. Verwenden Sie zur Überprüfung den Befehl python --version oder python3 --version. Wenn Sie Python 3 verwenden, stellen Sie sicher, dass diese Version auf dem Computer als Standardbefehl festgelegt ist, oder führen Sie die Skripts mit dem Befehl „python3“ anstelle von „python“ aus.

• Auf der Protokollweiterleitung muss entweder der Daemon syslog-ng oder rsyslog aktiviert sein.

• Informationen zu den Speicherplatzanforderungen für Ihre Protokollweiterleitung finden Sie unter Leistungsbenchmark für Azure Monitor Agent. Sie können auch diesen Blogbeitrag lesen, der Entwürfe für die skalierbare Erfassung enthält.

• Ihre Protokollquellen, Sicherheitsgeräte und Appliances müssen so konfiguriert werden, dass sie ihre Protokollnachrichten an den Syslog-Daemon der Protokollweiterleitung und nicht an ihren lokalen Syslog-Daemon senden.

Voraussetzungen für Computersicherheit

Konfigurieren Sie die Sicherheit des Computers für die Protokollweiterleitung gemäß der Sicherheitsrichtlinie Ihrer Organisation. Beispielsweise können Sie das Netzwerk so konfigurieren, dass es der Sicherheitsrichtlinie für das Unternehmensnetzwerk entspricht, und die Ports und Protokolle im Daemon Ihren Anforderungen entsprechend ändern. Um die Sicherheitskonfiguration Ihres Computers zu verbessern, schützen Sie Ihren virtuellen Computer in Azure, oder lesen Sie diese bewährten Methoden für die Netzwerksicherheit.

Wenn Ihre Geräte Protokolle über TLS senden, z. B. weil sich Ihre Protokollweiterleitung in der Cloud befindet, müssen Sie den Syslog-Daemon (rsyslog oder syslog-ng) so konfigurieren, dass er über TLS kommuniziert. Weitere Informationen finden Sie unter:

• Verschlüsseln des Syslog-Datenverkehrs mit TLS – rsyslog
• Verschlüsseln von Protokollnachrichten mit TLS – syslog-ng

Konfigurieren des Datenconnectors

Der Setupprozess für den „Benutzerdefinierte Protokolle über AMA“-Datenconnector umfasst die folgenden Schritte:

1. Erstellen Sie die Zieltabelle in Log Analytics (oder „Erweiterte Bedrohungssuche“, wenn Sie im Defender-Portal arbeiten).

   Der Name der Tabelle muss mit _CL enden und darf nur aus den folgenden zwei Feldern bestehen:

   • TimeGenerated (vom Typ DateTime): der Zeitstempel der Erstellung der Protokollnachricht
   • RawData (vom Typ String): die Protokollnachricht in ihrer Gesamtheit
     (Wenn Sie Protokolle von einer Protokollweiterleitung sammeln und nicht direkt vom Gerät, auf dem die Anwendung gehostet wird, geben Sie diesem Feld den Namen Message anstelle von RawData.)

2. Installieren Sie den Azure Monitor Agent und erstellen Sie eine Datensammelregel (DCR), indem Sie eine der folgenden Methoden verwenden:

   • Azure oder Defender-Portal
   • Azure Resource Manager-Vorlage

3. Wenn Sie Protokolle mithilfe einer Protokollweiterleitung sammeln, konfigurieren Sie den Syslog-Daemon auf diesem Computer, um auf Nachrichten aus anderen Quellen zu lauschen, und öffnen Sie die erforderlichen lokalen Ports. Ausführliche Informationen finden Sie unter Konfigurieren der Protokollweiterleitung zum Akzeptieren von Protokollen.

Wählen Sie die entsprechende Registerkarte für Anweisungen aus.

{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "resources": [
        {
            "type": "Microsoft.Insights/dataCollectionRules",
            "name": "{DCR_NAME}",
            "location": "{DCR_LOCATION}",
            "apiVersion": "2022-06-01",
            "properties": {
                "streamDeclarations": {
                    "Custom-Text-{TABLE_NAME}": {
                        "columns": [
                            {
                                "name": "TimeGenerated",
                                "type": "datetime"
                            },
                            {
                                "name": "RawData",
                                "type": "string"
                            },
                        ]
                    }
                },
                "dataSources": {
                    "logFiles": [
                        {
                            "streams": [
                                "Custom-Text-{TABLE_NAME}"
                            ],
                            "filePatterns": [
                                "{LOCAL_PATH_FILE_1}","{LOCAL_PATH_FILE_2}"
                            ],
                            "format": "text",
                            "name": "Custom-Text-{TABLE_NAME}"
                        }
                    ]
                },
                "destinations": {
                    "logAnalytics": [
                        {
                            "workspaceResourceId": "{WORKSPACE_RESOURCE_PATH}",
                            "workspaceId": "{WORKSPACE_ID}",
                            "name": "workspace"
                        }
                    ]
                },
                "dataFlows": [
                    {
                        "streams": [
                            "Custom-Text-{TABLE_NAME}"
                        ],
                        "destinations": [
                            "DataCollectionEvent"
                        ],
                        "transformKql": "source",
                        "outputStream": "Custom-{TABLE_NAME}"
                    }
                ]
            }
        }
    ]
}

Konfigurieren der Protokollweiterleitung zum Akzeptieren von Protokollen

Wenn Sie mithilfe einer Protokollweiterleitung Protokolle von einer Appliance sammeln, konfigurieren Sie den Syslog-Daemon in der Protokollweiterleitung so, dass er auf Nachrichten von anderen Computern lauscht, und öffnen Sie die erforderlichen lokalen Ports.

1. Kopieren Sie die folgende Befehlszeile:

   sudo wget -O Forwarder_AMA_installer.py https://raw.githubusercontent.com/Azure/Azure-Sentinel/master/DataConnectors/Syslog/Forwarder_AMA_installer.py&&sudo python Forwarder_AMA_installer.py
   

2. Melden Sie sich bei der VM mit der Protokollweiterleitung an, auf der Sie gerade die AMA installiert haben.

3. Fügen Sie den Befehl ein, den Sie im letzten Schritt kopiert haben, um das Installationsskript zu starten.
   Das Skript konfiguriert den rsyslog- oder syslog-ng-Daemon für die Verwendung des gewünschten Protokolls und startet den Daemon neu. Das Skript öffnet Port 514, um eingehende Nachrichten sowohl in UDP- als auch in TCP-Protokollen abzuhören. Um diese Einstellung zu ändern, sehen Sie in der Konfigurationsdatei des Syslog-Daemons nach, die dem auf dem Computer ausgeführten Daemon-Typ entspricht:

   • Rsyslog: /etc/rsyslog.conf
   • Syslog-ng: /etc/syslog-ng/syslog-ng.conf

   Wenn Sie Python 3 verwenden und es nicht als Standardbefehl auf dem Computer festgelegt ist, ersetzen Sie im eingefügten Befehl python3 mit python. Weitere Informationen finden Sie unter Voraussetzungen der Protokollweiterleitung.

   Hinweis

   Um Szenarien mit vollen Datenträgern zu vermeiden, bei denen der Agent nicht funktionieren kann, empfehlen wir, das Sie die Konfiguration von syslog-ng oder rsyslog so festlegen, dass nicht benötigte Protokolle nicht gespeichert werden. Ein Szenario mit vollem Datenträger unterbricht die Funktion des installierten AMA. Weitere Informationen finden Sie unter RSyslog oder Syslog-ng.

Konfigurieren des Sicherheitsgeräts oder der Appliance

Spezifische Anweisungen zum Konfigurieren Ihrer Sicherheitsanwendung oder Appliance finden Sie unter Benutzerdefinierte Protokolle über AMA-Datenconnector – Konfigurieren der Datenerfassung in Microsoft Sentinel aus speziellen Anwendungen.

Wenden Sie sich an den Lösungsanbieter, wenn Sie weitere Informationen erhalten möchten oder wenn keine Informationen für die Appliance oder das Gerät verfügbar sind.

Zugehöriger Inhalt

• Datensammlungsregeln in Azure Monitor
• Sammeln von Protokollen aus einer Text- oder JSON-Datei mit dem Azure Monitor-Agent