Streamingerfassung und Schemaänderungen
Gilt für: ✅Microsoft Fabric✅Azure Data Explorer
Clusterknoten zwischenspeichern das Schema von Datenbanken, die Daten durch Streamingaufnahme abrufen, leistung und Ressourcennutzung steigern. Wenn es jedoch Schemaänderungen gibt, kann dies zu Verzögerungen bei Updates führen.
Eventhouse-Knoten zwischenspeichern das Schema von Datenbanken, die Daten durch Streamingaufnahme abrufen, leistung und Ressourcennutzung steigern. Wenn es jedoch Schemaänderungen gibt, kann dies zu Verzögerungen bei Updates führen.
Wenn Schemaänderungen und Streamingeingestion nicht synchronisiert werden, können Fehler wie schemabezogene Fehler oder unvollständige und verzerrte Daten in der Tabelle auftreten.
In diesem Artikel werden typische Schemaänderungen beschrieben und Anleitungen zum Vermeiden von Problemen mit der Streamingaufnahme während dieser Änderungen bereitgestellt.
Schema-Änderungen
Die folgende Liste enthält wichtige Beispiele für Schemaänderungen:
- Erstellen von Tabellen
- Löschen von Tabellen
- Hinzufügen einer Spalte zu einer Tabelle
- Entfernen einer Spalte aus einer Tabelle
- Neutypieren der Spalten einer Tabelle
- Umbenennen der Spalten einer Tabelle
- Hinzufügen von vordefinierten Aufnahmezuordnungen
- Entfernen von vordefinierten Aufnahmezuordnungen
- Hinzufügen, Entfernen oder Ändern von Richtlinien
Koordinieren von Schemaänderungen mit streamingingestion
Der Schemacache wird beibehalten, während die Datenbank online ist. Wenn Schemaänderungen vorhanden sind, aktualisiert das System den Cache automatisch, diese Aktualisierung kann jedoch mehrere Minuten dauern. Wenn Sie sich auf die automatische Aktualisierung verlassen, können nicht koordinierte Erfassungsfehler auftreten.
Sie können die Auswirkungen der Verteilungsverzögerung verringern, indem Sie den Schemacache explizit auf den Knoten löschen. Wenn der Streaming-Erfassungsfluss und Schemaänderungen koordiniert werden, können Sie Fehler und die damit verbundenen Datenverzerrungen vollständig beseitigen.
So koordinieren Sie den Streaming-Erfassungsfluss mit Schemaänderungen:
- Anhalten der Streamingaufnahme.
- Warten Sie, bis alle ausstehenden Streaming-Aufnahmeanforderungen abgeschlossen sind.
- Führen Sie Schemaänderungen durch.
- Führen Sie einen oder mehrere .clear Cachestreaming-Schemabefehle aus.
- Wiederholen, bis erfolgreich, und alle Zeilen in der Befehlsausgabe deuten auf Erfolg hin
- Fortsetzen der Aufnahme des Streamings.
Hinweis
Wenn Sie eine Anwendung für die benutzerdefinierte Erfassung erstellt haben, empfehlen wir, schemabezogene Fehler zu verwalten, indem Sie entweder eine festgelegte Dauer wiederholen oder Daten aus fehlgeschlagenen Anforderungen mithilfe von Methoden für die Aufnahme in die Warteschlange umleiten.