Überwachen von Status und Leistung eines Eventstreams
Mit dem Feature Microsoft Fabric-Ereignisstreams können Sie Streamingereignisdaten, Aufnahmestatus und Aufnahmeleistung ganz einfach überwachen. In diesem Artikel wird erläutert, wie Sie die Eventstream-Status überwachen und Protokolle, Fehler sowie Datenerkenntnisse mithilfe von Metriken überprüfen.
In einem Eventstream gibt es zwei Arten von Überwachungsumgebungen: Datenerkenntnisse und Laufzeitprotokolle. Je nach Quelle oder Ziel werden beide Ansichten oder nur eine dieser Ansichten angezeigt.
Voraussetzungen
Bevor Sie beginnen können, benötigen Sie Folgendes:
- Zugriff auf einen Arbeitsbereich mit Viewer- oder höheren Berechtigungen, in dem sich Ihr Eventstream-Element befindet.
- Ihrem Eventstream-Element wird eine Azure Event Hub-Quelle oder ein Lakehouse-Ziel hinzugefügt.
Datenerkenntnisse
Die Registerkarte Datenerkenntnisse wird im unteren Bereich des Haupt-Editors angezeigt. Sie stellt Metriken bereit, mit denen Sie Status und Leistung des Eventstreams, der Quellen und der Ziele überwachen können. Verschiedene Quellen und Ziele verfügen über unterschiedliche Metriken. Wenn Sie einen Knoten im Haupt-Editor-Canvas auswählen, werden die Metriken für diesen bestimmten Knoten auf der Registerkarte Datenerkenntnisse angezeigt.
Datenerkenntnisse im Eventstream-Knoten
Die folgenden Metriken werden für einen Eventstream-Knoten auf der Registerkarte Dateneinblicke angezeigt:
| Metrik | Einheit | Beschreibung |
|---|---|---|
| IncomingMessages | Anzahl | Die Anzahl von Ereignissen oder Nachrichten, die in einem bestimmten Zeitraum an einen Eventstream gesendet wurden |
| OutgoingMessages | Anzahl | Die Anzahl von ausgehenden Ereignissen oder Nachrichten, die in einem bestimmten Zeitraum von einem Eventstream gesendet wurden |
| IncomingBytes | Byte | Eingehende Bytes für einen Eventstream in einem angegebenen Zeitraum |
| OutgoingBytes | Byte | Ausgehende Bytes für einen Eventstream in einem angegebenen Zeitraum |
So zeigen Sie Datenerkenntnisse für einen Ereignisstream an:
Wählen Sie den Eventstream-Knoten im Zeichenbereich des Standard-Editors aus.
Wählen Sie im unteren Bereich die Registerkarte Dateneinblicke aus.
Wenn im Ereignisstream Daten vorhanden sind, wird das Metrikdiagramm auf der Registerkarte Datenerkenntnisse angezeigt.
Aktivieren Sie auf der rechten Seite der Registerkarte die Kontrollkästchen neben den Metriken, die Sie anzeigen möchten.
Datenerkenntnisse in Azure Event Hub-Quellnodes, Azure IoT Hub-Quellnodes, Lakehouse-Zielnodes oder KQL-Datenbanken-Zielnodes
Die folgenden Metriken sind auf der Registerkarte Datenerkenntnisse für Azure Event Hub-Quellnodes, Azure IoT Hub-Quellnodes, Lakehouse-Zielnodes oder KQL-Datenbanken-Zielnodes (Modus „Ereignisverarbeitung vor Ingestion“) verfügbar:
| Metrik | Einheit | Beschreibung |
|---|---|---|
| Eingabeereignisse | Anzahl | Anzahl der Ereignisdaten, die das Eventstreams-Modul aus einem Eventstream (in einem Lakehouse-Ziel) oder aus einer Azure Event Hub-Quelle (in einer Azure Event Hub-Quelle) abruft. |
| Eingabeereignisbytes | Byte | Menge der Ereignisdaten, die das Eventstreams-Modul aus einem Eventstream (in einem Lakehouse-Ziel) oder aus einer Azure Event Hub-Quelle (in einer Azure Event Hub-Quelle) abruft. |
| Ausgabeereignisse | Anzahl | Anzahl der Ereignisdaten, die das Eventstreams-Modul an ein Lakehouse (in einem Lakehouse-Ziel) oder einen Eventstream (in einer Azure Event Hub-Quelle) sendet. |
| Eingabeereignisse im Rückstand | Anzahl | Anzahl der Eingabeereignisse, die im Eventstream-Modul im Rückstand sind. |
| Laufzeitfehler | Anzahl | Gesamtzahl der Fehler im Zusammenhang mit der Ereignisverarbeitung |
| Datenkonvertierungsfehler | Anzahl | Anzahl der Ausgabeereignisse, die nicht in das erwartete Ausgabeschema konvertiert werden konnten. |
| Deserialisierungsfehler | Anzahl | Anzahl der Eingabeereignisse, die im Eventstreams-Modul nicht deserialisiert werden konnten. |
| Grenzwertverzögerung | Second | Maximale Grenzwertverzögerung für alle Partitionen aller Ausgaben im Auftrag. Es wird als tatsächliche Zeit abzüglich des größten Grenzwerts berechnet. |
So zeigen Sie die Dateneinblicke für eine Azure Event Hub-Quelle, eine Azure IoT Hub-Quelle, ein Lakehouse-Ziel oder ein KQL-Datenbankziel an (Modus „Ereignisverarbeitung vor Ingestion“):
Wählen Sie den Azure Event Hub-Quellnode, den Azure IoT Hub-Quellnode, den Lakehouse-Zielnode oder den KQL-Datenbanken-Zielnode im Kollaborationsbereich des Standard-Editors aus
Wählen Sie im unteren Bereich die Registerkarte Dateneinblicke aus.
Wenn sich Daten in der Azure Event Hubs-Quelle oder dem Lakehouse-Ziel befinden, wird das Metrikdiagramm in der Registerkarte Datenerkenntnisse angezeigt.
Aktivieren Sie auf der rechten Seite der Registerkarte die Kontrollkästchen neben den Metriken, die Sie anzeigen möchten.
Datenerkenntnisse in Quellknoten des Streamingconnectors
Die Quellknoten des Streamingconnectors enthalten die folgenden Quellen:
- Azure SQL Datenbank Change Data Capture (CDC)
- PostgreSQL Datenbank CDC
- MySQL-Datenbank CDC
- Azure Cosmos DB CDC
- SQL Server auf VM DB (CDC)
- Azure SQL Managed Instance CDC
- Google Cloud Pub/Sub
- Amazon Kinesis Data Streams
- Confluent Cloud Kafka
- Apache Kafka
- Amazon MSK Kafka
Die folgenden Metriken sind auf der Registerkarte Dateneinblicke Registerkarte für Streamingconnector-Quellknoten verfügbar:
| Metrik | Einheit | Beschreibung |
|---|---|---|
| Ausgehende Quellereignisse | Anzahl | Anzahl der Datensätze, die aus den Transformationen (falls vorhanden) ausgegeben und in den Ereignisstream für die Aufgabe geschrieben wurden, die zum benannten Quellconnector im Worker gehört (seit dem letzten Neustart der Aufgabe). |
| Eingehende Quellereignisse | Anzahl | Bevor Transformationen angewendet werden, ist dies die Anzahl der Datensätze, die von der Aufgabe erstellt oder abgerufen werden, die zum benannten Quellconnector im Worker gehört (seit dem letzten Neustart der Aufgabe). |
| Protokollierte Connectorfehler | Anzahl | Die Anzahl der Fehler, die für diese Connectoraufgabe(n) protokolliert wurden. |
| Fehler bei der Verbinderverarbeitung | Anzahl | Die Anzahl der Datensatzverarbeitungsfehler in diesen Verbinderaufgaben. |
| Fehler bei der Verbinderverarbeitung | Anzahl | Die Anzahl der Datensatzverarbeitungsfehler in diesen Connectoraufgaben, einschließlich Wiederholungsfehlern. |
| Connectorereignisse übersprungen | Anzahl | Die Anzahl der Datensätze, die aufgrund von Fehlern innerhalb dieser Verbinderaufgabe übersprungen wurden. |
So zeigen Sie die Dateneinblicke für eine Streamingconnectorquelle an:
- Wählen Sie Externe Quelle verwenden aus, und wählen Sie dann eine Streamingconnectorquelle aus.
- Konfigurieren und Veröffentlichen der Streamingconnectorquelle.
- Wählen Sie im unteren Bereich den Tab Dateneinblicke aus.
- Wenn in der Streamingconnectorquelle Daten vorhanden sind, wird das Metrikdiagramm im Tab „Dateneinblicke“ angezeigt.
- Aktivieren Sie auf der rechten Seite der Registerkarte die Kontrollkästchen neben den Metriken, die Sie anzeigen möchten.
Runtimeprotokolle
Auf der Registerkarte Laufzeitprotokolle können Sie die detaillierten Protokolle überprüfen, die im Eventstream-Modul auftreten. Laufzeitprotokolle weisen drei Schweregrade auf: Warnung, Fehler und Informationen.
So zeigen Sie die Laufzeitprotokolle für die Azure Event Hub-Quelle, Azure iot Hub-Quelle, Streamingconnectorquelle, Lakehouse-Ziel und KQL-Datenbankziel an (Ereignisverarbeitung vor Aufnahmemodus):
Wählen Sie die Azure Event Hub-Quelle, Streamingconnectorquelle, Lakehouse-Ziel oder KQL-Datenbankziel im Haupt-Editor-Canvas aus.
Wählen Sie im unteren Bereich die Registerkarte Laufzeitprotokolle aus.
Wenn innerhalb der Azure Event Hub-Quelle, des Lakehouse-Ziels oder des KQL-Datenbankziels Daten vorhanden sind, werden die Protokolle im Tab Laufzeitprotokolle angezeigt.
Durchsuchen Sie die Protokolle mit der Option Filtern nach Schlüsselwort, oder filtern Sie die Liste, indem Sie den Schweregrad oder den Typ ändern.
Um die aktuellsten Protokolle anzuzeigen, wählen Sie Aktualisieren aus.
