Migrieren von Splunk zu Azure Monitor-Protokollen
Azure Monitor-Protokolle ist ein cloudbasierter verwalteter Überwachungs- und Einblickdienst, der viele Vorteile in Bezug auf Kostenverwaltung, Skalierbarkeit, Flexibilität und Integration sowie einen geringen Wartungsaufwand bietet. Der Dienst wurde entwickelt, um große Datenmengen zu verarbeiten und einfach skalierbar zu sein, um die Anforderungen von Organisationen aller Größen zu erfüllen.
Azure Monitor-Protokolle sammeln Daten aus einer Vielzahl von Quellen, einschließlich Windows-Ereignisprotokollen, Syslog und benutzerdefinierten Protokollen, um eine einheitliche Ansicht aller Azure- und Nicht-Azure-Ressourcen bereitzustellen. Mithilfe einer präzisen Abfragesprache und einer kuratierten Visualisierung können Sie schnell Millionen von Datensätzen analysieren, um kritische Muster in Ihren Überwachungsdaten zu identifizieren, zu verstehen und darauf zu reagieren.
In diesem Artikel wird erläutert, wie Sie Ihre Splunk Observability-Bereitstellung für die Protokollierung und die Protokolldatenanalyse zu Azure Monitor-Protokollen migrieren.
Informationen zur Migration Ihrer SIEM-Bereitstellung (Security Information & Event Management) von Splunk Enterprise Security zu Azure Sentinel finden Sie unter Planen der Migration zu Microsoft Sentinel.
Gründe für die Migration zu Azure Monitor
Die Migration zu Azure bietet unter anderem folgende Vorteile:
- Vollständig verwaltete SaaS-Plattform (Software-as-a-Service) mit:
- Automatische Upgrades und Autoskalierung
- Einfache nutzungsbasierte Bezahlung pro GB
- Funktionen zur Kostenoptimierung und -überwachung und kostengünstige Basis- und Hilfstabellenpläne.
- Cloudnative Überwachung und Einblicke, einschließlich:
- Native Integration mit einer Reihe von ergänzenden Azure-Diensten, z. B. Microsoft Sentinel für die Verwaltung von Sicherheitsinformationen und Ereignissen, Azure Logic Apps für die Automatisierung, Azure Managed Grafana für Dashboards und Azure Machine Learning für erweiterte Analyse- und Reaktionsfunktionen
Vergleich von Angeboten
| Splunk-Angebot | Produkt | Angebot von Azure |
|---|---|---|
| Splunk-Plattform |
|
Azure Monitor Logs ist eine zentralisierte Software-as-a-Service (SaaS)-Plattform zum Sammeln, Analysieren und Verarbeiten von Telemetriedaten, die von Azure- und Nicht-Azure-Ressourcen und -Anwendungen erzeugt werden. |
| Splunk Observability |
|
Azure Monitor ist eine End-to-End-Lösung zum Sammeln, Analysieren und Verarbeiten von Telemetriedaten aus Ihren Cloud-, Multicloud- und lokalen Umgebungen, die auf einer leistungsstarken Datenerfassungspipeline basiert, die mit Microsoft Sentinel gemeinsam genutzt wird. Azure Monitor bietet Unternehmen eine umfassende Lösung für die Überwachung von Cloud-, Hybrid- und lokalen Umgebungen mit Netzwerkisolation, Resilienzfeatures und Schutz vor Rechenzentrumsausfällen, Berichterstellung sowie Funktionen für Warnungen und Reaktionen. Zu den integrierten Features von Azure Monitor gehören:
|
| Splunk-Sicherheit |
|
Microsoft Sentinel ist eine cloudnative Lösung, die über die Azure Monitor-Plattform ausgeführt wird, um intelligente Sicherheitsanalysen und Threat Intelligence im gesamten Unternehmen bereitzustellen. |
Einführung in wichtige Konzepte
| Azure Monitor-Protokolle | Ähnliches Splunk-Konzept | BESCHREIBUNG |
|---|---|---|
| Log Analytics-Arbeitsbereich | Namespace | Ein Log Analytics-Arbeitsbereich ist eine Umgebung, in der Sie Protokolldaten von allen überwachten Azure- und Nicht-Azure-Ressourcen sammeln können. Die Daten im Arbeitsbereich stehen für Abfragen und Analysen, Azure Monitor-Features und andere Azure-Dienste zur Verfügung. Ähnlich wie bei einem Splunk-Namespace können Sie den Zugriff auf die Daten und Artefakte (z. B. Warnungen und Arbeitsmappen) in Ihrem Log Analytics-Arbeitsbereich verwalten. Entwerfen Sie die Architektur Ihres Log Analytics-Arbeitsbereichs auf der Grundlage Ihrer Anforderungen – z. B. getrennte Rechnungsstellung, regionale Datenspeicheranforderungen und Überlegungen zur Ausfallsicherheit. |
| Tabellenverwaltung | Indizierung | Azure Monitor-Protokolle erfassen Protokolldaten in Tabellen in einer verwalteten Azure Data Explorer-Datenbank. Während der Erfassung indiziert der Dienst die Daten automatisch und versieht sie mit Zeitstempeln. Aus diesem Grund können Sie verschiedene Datentypen speichern und mithilfe von KQL-Abfragen (Kusto-Abfragesprache) schnell auf die Daten zugreifen. Verwenden Sie Tabelleneigenschaften, um das Tabellenschema sowie die Datenaufbewahrung zu verwalten und um festzulegen, ob die Daten für die gelegentliche Überwachung und Problembehandlung oder für die fortlaufende Analyse und Verwendung durch Features und Dienste gespeichert werden sollen. Einen Vergleich der Konzepte von Splunk und Azure Data Explorer für die Datenverarbeitung und -abfrage finden Sie unter Zuordnung von Splunk zur Kusto-Abfragesprache. |
| Analytics, Basis- und Hilfstabellenpläne | Azure Monitor-Protokolle bieten drei Tabellenpläne, mit denen Sie die Kosten für die Protokollerfassung und -aufbewahrung reduzieren und die erweiterten Features und Analysefunktionen von Azure Monitor basierend auf Ihren Anforderungen nutzen können. Der Analyseplan stellt Protokolldaten für interaktive Abfragen und die Verwendung durch Features und Dienste zur Verfügung. Mit dem Basic-Plan können Sie Protokolle zu reduzierten Kosten für die Problembehandlung und die Reaktion auf Vorfälle erfassen und aufbewahren. Der Hilfsplan ist eine kostengünstige Möglichkeit, selten benötigte Daten zu erfassen und aufzubewahren, z. B. ausführliche Protokolle und Daten, die für die Überwachung und Compliance erforderlich sind. |
|
| Langfristige Aufbewahrung | Datenbucketzustände (heiß, warm, kalt, reaktivieren), Archivierung, DDAA (Dynamic Data Active Archive) | Bei der kostengünstigen Langzeitaufbewahrung werden Ihre Protokolle in Ihrem Log Analytics-Arbeitsbereich gespeichert. Dies ermöglicht Ihnen den sofortigen Zugriff auf diese Daten, wenn Sie diese benötigen. Änderungen an der Aufbewahrungskonfiguration werden sofort wirksam, da die Daten nicht physisch in den externen Speicher übertragen werden müssen. Sie können Daten in Langzeitaufbewahrung wiederherstellen oder einen Suchauftrag ausführen, um einen bestimmten Zeitbereich der Daten für die Echtzeitanalyse bereitzustellen. |
| Zugriffssteuerung | Rollenbasierter Benutzerzugriff, Berechtigungen | Definieren Sie mit der rollenbasierten Zugriffskontrolle von Azure (RBAC), welche Personen und Ressourcen bestimmte Ressourcen lesen, schreiben und bearbeiten dürfen. Eine Benutzerin oder ein Benutzer mit Zugriff auf eine Ressource hat Zugriff auf die Protokolle der Ressource. Azure erleichtert die Datensicherheit und Zugriffsverwaltung mit Features wie integrierten Rollen, benutzerdefinierten Rollen, Vererbung von Rollenberechtigungen und Überwachungsverlauf. Sie können auch Zugriff auf Arbeitsbereichsebene und Zugriff auf Tabellenebene für eine präzise Zugriffssteuerung für bestimmte Datentypen konfigurieren. |
| Datentransformationen | Transformationen, Feldextraktionen | Transformationen ermöglichen Ihnen, eingehende Daten zu filtern oder zu ändern, bevor sie an einen Log Analytics-Arbeitsbereich gesendet werden. Verwenden Sie Transformationen, um vertrauliche Daten zu entfernen, Daten in Ihrem Log Analytics-Arbeitsbereich anzureichern, Berechnungen durchzuführen und Daten herauszufiltern, die Sie nicht benötigen, um die Datenkosten zu senken. |
| Datensammlungsregeln in Azure Monitor (Vorschau) | Dateneingaben, Datenpipeline | Definieren Sie, welche Daten gesammelt werden sollen, wie diese Daten transformiert werden und wohin sie gesendet werden sollen. |
| Kusto-Abfragesprache (KQL) | Splunk Search Processing Language (SPL) | Azure Monitor-Protokolle verwenden eine große Teilmenge von KQL, die für einfache Protokollabfragen geeignet ist, aber auch erweiterte Funktionen wie Aggregationen, Verknüpfungen und intelligente Analysen ermöglicht. Über die Zuordnung von Splunk zur Kusto-Abfragesprache können Ihre Kenntnisse zu Splunk-SPL auf KQL übertragen. Sie können KQL auch mit Tutorials und KQL-Schulungsmodulen erlernen. |
| Log Analytics | Splunk Web, Such-App, Pivottool | Ein Tool im Azure-Portal zum Bearbeiten und Ausführen von Protokollabfragen in Azure Monitor-Protokollen. Log Analytics bietet auch eine Vielzahl von Tools zum Erkunden und Visualisieren von Daten ohne KQL. |
| Kostenoptimierung | Azure Monitor bietet Tools und bewährte Methoden, die Ihnen helfen, Ihre Kosten basierend auf Ihren Anforderungen zu verstehen, zu überwachen und zu optimieren. |
1. Verstehen Ihres aktuellen Verbrauchs
Ihr aktueller Verbrauch in Splunk hilft Ihnen bei der Entscheidung, welchen Tarif Sie für Azure Monitor auswählen sollten, und bei der Schätzung Ihrer zukünftigen Kosten:
- Befolgen Sie den Splunk-Leitfaden, um Ihren Verbrauchsbericht anzuzeigen.
- Azure Monitor Kostenschätzungen mithilfe des Preisrechners.
2. Einrichten eines Log Analytics-Arbeitsbereichs
In Ihrem Log Analytics-Arbeitsbereich sammeln Sie Protokolldaten von allen überwachten Ressourcen. Sie können Daten in einem Log Analytics-Arbeitsbereich bis zu sieben Jahre lang aufbewahren. Aufgrund der kostengünstigen Datenarchivierung innerhalb des Arbeitsbereichs können Sie bei Bedarf schnell und einfach auf Daten in Langzeitaufbewahrung zugreifen, ohne zusätzlich einen externen Datenspeicher verwalten zu müssen.
Es wird empfohlen, alle Ihre Protokolldaten in einem einzelnen Log Analytics-Arbeitsbereich zu sammeln, um die Verwaltung zu vereinfachen. Wenn Sie mehrere Arbeitsbereiche verwenden möchten, lesen Sie unter Entwerfen einer Log Analytics-Arbeitsbereichsarchitektur nach.
So richten Sie einen Log Analytics-Arbeitsbereich für die Datensammlung ein
Erstellen eines Log Analytics-Arbeitsbereichs
Azure Monitor-Protokolle erstellen abhängig von den verwendeten Azure-Diensten und den für Azure-Ressourcen konfigurierten Datensammlungseinstellungen automatisch Azure-Tabellen in Ihrem Arbeitsbereich.
Konfigurieren Sie Ihren Log Analytics-Arbeitsbereichs unter anderem mit Folgendem:
- Tarif:
- Verknüpfen Sie Ihren Log Analytics-Arbeitsbereich mit einem dedizierten Cluster, um erweiterte Funktionen nutzen zu können, sofern Sie dazu durch Ihren Tarif berechtigt sind.
- Tägliche Obergrenze:
- Datenaufbewahrung
- Netzwerkisolation:
- Zugriffssteuerung:
Verwenden Sie Konfigurationseinstellungen auf Tabellenebene für Folgendes:
Definieren Sie den Protokolldatenplan jeder Tabelle.
Der Standardplan für Protokolldaten ist „Analytics“. Damit können Sie die umfassenden Überwachungs- und Analysefunktionen von Azure Monitor nutzen.
Legen Sie eine Richtlinie für die Datenaufbewahrung und -archivierung für bestimmte Tabellen fest, wenn sie sich von der Richtlinie für die Datenaufbewahrung und -archivierung auf Arbeitsbereichsebene unterscheiden soll.
Ändern Sie das Tabellenschema basierend auf Ihrem Datenmodell.
3. Migrieren von Splunk-Artefakten zu Azure Monitor
Zum Migrieren der meisten Splunk-Artefakte müssen Sie die Splunk Processing Language (SPL) in die Kusto-Abfragesprache (KQL) übersetzen. Weitere Informationen finden Sie unter Zuordnung von Splunk zur Kusto-Abfragesprache und Erste Schritte mit Protokollabfragen in Azure Monitor.
In dieser Tabelle sind Splunk-Artefakte und Links zu Leitfäden für das Einrichten der entsprechenden Artefakte in Azure Monitor aufgeführt:
| Splunk-Artefakt | Azure Monitor-Artefakt |
|---|---|
| Alerts | Warnregeln |
| Warnungsaktionen | Aktionsgruppen |
| Infrastruktur Überwachung | Azure Monitor-Erkenntnisse sind verschiedene einsatzbereite, kuratierte Überwachungsfunktionen mit vorkonfigurierten Dateneingaben, Suchvorgängen, Warnungen und Visualisierungen, mit denen Sie schnell und effektiv mit der Analyse von Daten beginnen können. |
| Dashboards | Arbeitsmappen |
| Suchvorgänge | Azure Monitor bietet verschiedene Möglichkeiten zum Anreichern von Daten, z. B.: - Datensammlungsregeln, mit denen Sie Daten aus mehreren Quellen an einen Log Analytics-Arbeitsbereich senden und Berechnungen und Transformationen durchführen können, bevor Sie die Daten erfassen - KQL-Operatoren, z. B. der Join-Operator, der Daten aus verschiedenen Tabellen kombiniert, und der externaldata-Operator, der Daten aus einem externen Speicher zurückgibt - Integration mit Diensten wie Azure Machine Learning oder Azure Event Hubs, um erweitertes maschinelles Lernen anzuwenden und mehr Daten zu streamen |
| Namespaces | Sie können in Azure Monitor basierend auf der Zugriffssteuerung, die Sie in Ihrem Log Analytics-Arbeitsbereich oder in Azure-Ressourcengruppen definieren, Berechtigungen für Artefakte erteilen oder einschränken. |
| Berechtigungen | Zugriffsverwaltung |
| Berichte | Azure Monitor bietet mehrere Optionen zum Analysieren, Visualisieren und Freigeben von Daten, z. B.: - Integration mit Grafana - Erkenntnisse - Arbeitsmappen - Dashboards - Integration mit Power BI - Integration mit Excel |
| Suchvorgänge | Abfragen |
| Quelltypen | Definieren Sie Ihr Datenmodell in Ihrem Log Analytics-Arbeitsbereich. Verwenden Sie Transformationen zur Erfassungszeit, um eingehende Daten zu filtern, zu formatieren oder zu ändern. |
| Datensammlungsmethoden | Weitere Informationen zu Azure Monitor-Tools, die für bestimmte Ressourcen entwickelt wurden, finden Sie unter Sammeln von Daten. |
Informationen zum Migrieren von Splunk-SIEM-Artefakten (einschließlich Erkennungsregeln und SOAR-Automatisierung) finden Sie unter Planen Ihrer Migration zu Microsoft Sentinel.
4. Sammeln von Daten
Azure Monitor bietet Tools zum Sammeln von Daten aus Protokolldatenquellen in Azure und außerhalb davon in Ihrer Umgebung.
So sammeln Sie Daten von einer Ressource
- Richten Sie das entsprechende Datensammlungstool basierend auf der folgenden Tabelle ein.
- Entscheiden Sie, welche Daten Sie von der Ressource sammeln möchten.
- Verwenden Sie Transformationen, um vertrauliche Daten zu entfernen, Daten anzureichern, Berechnungen durchzuführen und Daten herauszufiltern, die Sie nicht benötigen, um die Kosten zu senken.
In dieser Tabelle sind die Tools aufgeführt, die Azure Monitor zum Sammeln von Daten von verschiedenen Ressourcentypen bereitstellt.
| Ressourcentyp | Tool für die Datensammlung | Entsprechendes Splunk-Tool | Gesammelte Daten |
|---|---|---|---|
| Azure | Diagnoseeinstellungen | Azure-Mandant: Microsoft Entra-Überwachungsprotokolle machen den Verlauf von Anmeldeaktivitäten und den Überwachungspfad von Änderungen innerhalb eines Mandanten verfügbar. Azure-Ressourcen: Protokolle und Leistungsindikatoren Azure-Abonnement: Service Health-Datensätze und Datensätze zu jeglichen Konfigurationsänderungen, die an den Ressourcen in Ihrem Azure-Abonnement vorgenommen wurden |
|
| Anwendung | Application Insights | Splunk Application Performance Monitoring | Überwachungsdaten zur Anwendungsleistung |
| Container | Container Insights | Container Monitoring | Daten zur Containerleistung |
| Betriebssystem | Azure Monitor-Agent | Universal Forwarder, Heavy Forwarder | Überwachungsdaten vom Gastbetriebssystem von Azure- und Nicht-Azure-VMs |
| Nicht-Azure-Quelle | Protokollerfassungs-API | HTTP Event Collector (HEC) | Dateibasierte Protokolle und alle Daten, die Sie an einen Datensammlungsendpunkt für eine überwachte Ressource senden |
5. Umstellung auf Azure Monitor-Protokolle
Ein gängiger Ansatz besteht darin, schrittweise auf Azure Monitor-Protokollen umzusteigen, während Verlaufsdaten in Splunk verbleiben. In diesem Zeitraum haben Sie folgende Möglichkeiten:
- Verwenden der Protokollerfassungs-API zum Erfassen von Daten aus Splunk
- Verwenden des Datenexports aus dem Log Analytics-Arbeitsbereich zum Exportieren von Daten aus Azure Monitor
So exportieren Sie Ihre Verlaufsdaten aus Splunk
- Verwenden Sie eine der Splunk-Exportmethoden, um Daten im CSV-Format zu exportieren.
- So erfassen Sie die exportierten Daten
Verwenden Sie den Azure Monitor-Agent, um die Daten zu erfassen, die Sie aus Splunk exportieren. Eine Beschreibung der Vorgehensweise finden Sie unter Sammeln von Textprotokollen mit dem Azure Monitor-Agent.
oder
Erfassen Sie die exportierten Daten direkt mit der Protokollerfassungs-API, wie unter Senden von Daten an Azure Monitor-Protokolle mithilfe einer REST-API beschrieben.
Nächste Schritte
- Erfahren Sie mehr über die Verwendung von Log Analytics und der Log Analytics-Abfrage-API.
- Aktivieren Sie Microsoft Sentinel in Ihrem Log Analytics-Arbeitsbereich.
- Absolvieren Sie das Schulungsmodul: Analysieren von Protokollen in Azure Monitor mit KQL.