Was ist Spiegelung in Fabric?
Die Spiegelung in Fabric eine kostengünstige Lösung mit geringer Latenz, um Daten aus verschiedenen Systemen in einer einzigen Analyseplattform zu vereinen. Sie können Ihren vorhandenen Datenbestand kontinuierlich direkt aus einer Vielzahl von Azure-Datenbanken und externen Datenquellen in Fabric OneLake replizieren.
Mit den aktuellsten Daten in einem abfragefähigen Format in OneLake können Sie jetzt alle verschiedenen Dienste in Fabric verwenden, z. B. Ausführung von Analysen mit Spark, Ausführung von Notebooks, Datentechnik, Visualisierung über Power BI-Berichte und vieles mehr.
Spiegeln in Fabric bietet Benutzern ein hochgradig integriertes, umfassendes und benutzerfreundliches Produkt nutzen, das auf die vereinfachte Verwaltung von Analysen ausgelegt ist. Für Offenheit und Zusammenarbeit zwischen Microsoft und Technologielösungen entwickelt, die das Open-Source-Delta Lake-Tabellenformat lesen können, ist die Spiegelung eine kostengünstige und low-latency Turnkey-Lösung, mit der Sie ein Replikat Ihrer Daten in OneLake erstellen können, das für alle Ihre analytischen Anforderungen verwendet werden kann.
Die Delta-Tabellen können dann überall in Fabric verwendet werden, wodurch Benutzer ihre Reise in Fabric beschleunigen können.
Gründe für die Verwendung von Spiegelung in Fabric.
Heute verfügen viele Organisationen über unternehmenskritische oder analytische Daten, die in Silos sitzen.
Für den Zugriff und die Arbeit mit diesen Daten sind komplexe ETL-Pipelines (Extract Transform Load), Geschäftsprozesse und Entscheidungssilos erforderlich, mit folgenden Nachteilen:
- Eingeschränkter und beschränkter Zugriff auf wichtige, sich ständig ändernde Daten
- Reibung zwischen Menschen, Prozessen und Technologien
- Lange Wartezeiten zum Erstellen von Datenpipelinen und Prozessen zu kritisch wichtigen Daten
- Keine Freiheit, die Tools zu verwenden, die Sie benötigen, um Einblicke bequem zu analysieren und zu teilen
- Mangel an einer richtigen Grundlage für Mitarbeiter, um Daten zu teilen und zusammenzuarbeiten
- Keine gängigen, offenen Datenformate für alle analytischen Szenarien – BI, AI, Integration, Engineering und sogar Apps
Die Spiegelung in Fabric ermöglicht es, Erkenntnisse und Entscheidungen schneller zu nutzen und Datensilos zwischen Technologielösungen zu beseitigen:
- Quasi-Echtzeit-Replikation von Daten und Metadaten in einen SaaS-Data-Lake mit integrierter Analyse für BI und KI
Die Platform Microsoft Fabric basiert auf der Grundlage von Software as a Service (SaaS), die Einfachheit und Integration auf ein völlig neues Niveau hebt. Weitere Informationen zu Microsoft Fabric finden Sie unter Was ist Microsoft Fabric?
Die Spiegelung erstellt drei Elemente in Ihrem Fabric-Arbeitsbereich:
- Die Spiegelung verwaltet die Replikation von Daten und Metadaten in OneLake und die Konvertierung in Parquet, ein analysefähiges Format. Dies ermöglicht nachgeschaltete Szenarien wie Data Engineering, Data Science und mehr.
- Ein SQL-Analyseendpunkt
- Ein Standardsemantikmodell
Zusätzlich zum SQL Query Editor gibt es ein breites Ökosystem, einschließlich SQL Server Management Studio (SSMS), der mssql-Erweiterung mit Visual Studio Code und sogar GitHub Copilot.
Teilen ermöglicht die erleichterte Zugriffssteuerung und -verwaltung, um sicherzustellen, dass Sie den Zugriff auf vertrauliche Informationen steuern können. Teilen ermöglicht auch sichere und demokratisierte Entscheidungsfindung in Ihrer gesamten Organisation.
Arten der Spiegelung
Fabric bietet drei verschiedene Ansätze, um Daten durch Spiegelung in OneLake zu bringen.
- Datenbankspiegelung: Die Datenbankspiegelung in Microsoft Fabric ermöglicht die Replikation ganzer Datenbanken und Tabellen, sodass Sie Daten aus verschiedenen Systemen in einer einzigen Analyseplattform vereinen können.
- Metadatenspiegelung: Die Metadatenspiegelung in Fabric synchronisiert Metadaten (z. B. Katalognamen, Schemas und Tabellen), anstatt die Daten tatsächlich zu verschieben. Dieser Ansatz nutzt Verknüpfungen, um sicherzustellen, dass die Daten in ihrer Quelle verbleiben und gleichzeitig in Fabric leicht zugänglich sind.
- Offene Spiegelung: Die offene Spiegelung in Fabric wurde entwickelt, um die Spiegelung basierend auf dem offenen Delta Lake-Tabellenformat zu erweitern. Mit dieser Funktion können Entwickler die Änderungsdaten ihrer Anwendung direkt in ein gespiegeltes Datenbankelement in Microsoft Fabric schreiben, basierend auf dem Ansatz für die offene Spiegelung und den öffentlichen APIs.
Derzeit sind die folgenden externen Datenbanken verfügbar:
| Plattform | Replikation in Quasi-Echtzeit | Spiegelungsart | End-to-End-Tutorial |
|---|---|---|---|
| Spiegeldatenbanken in Microsoft Fabric von Azure Cosmos DB (Vorschau) | Ja | Spiegeln von Datenbanken | Lernprogramm: Azure Cosmos DB |
| Gespiegelte Microsoft Fabric-Datenbanken aus Azure Databricks (Vorschau) | Ja | Metadatenspiegelung | Tutorial: Azure Databricks |
| Gespiegelte Datenbanken in Microsoft Fabric aus Azure SQL-Datenbank | Ja | Spiegeln von Datenbanken | Lernprogramm: Azure SQL-Datenbank |
| Gespiegelte Microsoft Fabric-Datenbanken aus Azure SQL Managed Instance (Vorschau) | Ja | Spiegeln von Datenbanken | Tutorial: Azure SQL Managed Instance |
| Gespiegelte Datenbanken in Microsoft Fabric aus Snowflake | Ja | Spiegeln von Datenbanken | Lernprogramm: Snowflake |
| Öffnen von gespiegelten Datenbanken (Vorschau) | Ja | Offene Spiegelung | Tutorial: Offene Spiegelung |
| Gespiegelte Microsoft Fabric-Datenbanken aus der Fabric-SQL-Datenbank (Vorschau) | Ja | Spiegeln von Datenbanken | Automatisch konfiguriert |
Wie funktioniert die Quasi-Echtzeit-Replikation der Datenbankspiegelung?
Die Spiegelung wird durch Erstellen einer sicheren Verbindung mit Ihrer betrieblichen Datenquelle aktiviert. Sie wählen aus, ob eine gesamte Datenbank oder einzelne Tabellen repliziert werden soll und die Spiegelung wird Ihre Daten automatisch synchronisieren. Nach der Einrichtung werden die Daten kontinuierlich in OneLake für den Analyseverbrauch gespiegelt.
Im Folgenden sind die Kernprinzipien der Spiegelung aufgelistet:
Das Aktivieren der Spiegelung in Fabric ist einfach und intuitiv. Dazu müssen keine komplexeren ETL-Pipelines erstellt werden, weitere Computeressourcen zugeordnet oder Datenverschiebungen verwaltet werden.
Die Spiegelung in Fabric ist ein vollständig verwalteter Dienst, daher müssen Sie sich keine Gedanken über Hosting, Pflege oder die Verwaltung der Replikation der gespiegelten Verbindung machen.
Wie funktioniert die Metadatenspiegelung?
Die Spiegelung ermöglicht nicht nur die Datenreplikation, sondern kann auch durch Verknüpfungen oder Metadatenspiegelung statt durch vollständige Datenreplikation erreicht werden, sodass Daten verfügbar sind, ohne sie tatsächlich zu verschieben oder zu duplizieren. Die Spiegelung in diesem Kontext bezieht sich auf das Replizieren von Metadaten wie Katalognamen, Schemas und Tabellen und nicht auf die tatsächlichen Daten. Mit diesem Ansatz kann Fabric Daten aus verschiedenen Quellen zugänglich machen, ohne sie zu duplizieren, was die Datenverwaltung vereinfacht und die Speicheranforderungen minimiert.
Wenn Sie beispielsweise auf Daten zugreifen, die in Unity Catalog registriert sind, spiegelt Fabric nur die Katalogstruktur aus Azure Databricks wider, sodass auf die zugrunde liegenden Daten über Verknüpfungen zugegriffen werden kann. Diese Methode stellt sicher, dass alle Änderungen der Quelldaten sofort in Fabric widergespiegelt werden, ohne dass eine Datenverschiebung erforderlich ist, die Echtzeitsynchronisierung aufrechterhalten wird und die Effizienz beim Zugriff auf aktuelle Informationen verbessert wird.
Wie funktioniert die offene Spiegelung?
Die Spiegelung ermöglicht nicht nur die Datenreplikation durch Erstellen einer sicheren Verbindung mit Ihrer Datenquelle, sondern Sie können auch einen vorhandenen Datenanbieter auswählen oder Ihre eigene Anwendung schreiben, um Daten in gespiegelte Datenbank zu bringen. Sobald Sie eine offen gespiegelte Datenbank über eine öffentliche API oder über das Fabric-Portal erstellen, können Sie eine Zielzonen-URL in OneLake abrufen, in die Sie Daten pro offener Spiegelungsspezifikation bringen können.
Sobald sich Daten in der Zielzone mit dem richtigen Format befinden, wird die Replikation gestartet und verwaltet die Komplexität der Zusammenführung der Änderungen. Änderungs-, Einfüge- und Löschvorgänge werden in Deltatabellen kenntlich gemacht. Diese Methode stellt sicher, dass alle in die Zielzone geschriebenen Daten sofort verfügbar sind und die Daten in Fabric auf dem neuesten Stand bleiben.
Freigabe
Tilen ermöglicht die erleichterte Zugriffssteuerung und -verwaltung, während Sicherheitskontrollen wie Sicherheit auf Zeilenebene (RLS) und OLS (Object Level Security) und mehr sicherstellen, dass Sie den Zugriff auf vertrauliche Informationen steuern können. Teilen ermöglicht auch sichere und demokratisierte Entscheidungsfindung in Ihrer gesamten Organisation.
Durch die Freigabe gewähren Benutzer*innen anderen Benutzer*innen oder einer Gruppe von Benutzer*innen Zugriff auf eine gespiegelte Datenbank, ohne Zugriff auf den Arbeitsbereich und die restlichen Elemente zu gewähren. Wenn eine Person eine gespiegelte Datenbanken freigibt, gewährt sie auch Zugriff auf den SQL-Endpunkt und das zugehörige Standardsemantikmodell.
Weitere Informationen finden Sie unter Freigeben Ihrer gespiegelten Datenbank und Verwalten von Berechtigungen.
Datenbankübergreifende Abfragen
Mit den Daten aus Ihrer gespiegelten Datenbank, die in OneLake gespeichert sind, können Sie datenbankübergreifende Abfragen schreiben, Daten aus gespiegelten Datenbanken, Lagerorten und den SQL-Analyseendpunkten von Lakehouses in einer einzigen T-SQL-Abfrage verknüpfen. Weitere Informationen finden Sie unter Schreiben einer datenbankübergreifenden Abfrage.
Sie können z. B. auf die Tabelle aus gespiegelte Datenbanken und Lagerorten mit dreiteiliger Benennung verweisen. Im folgenden Beispiel wird der dreiteilige Name verwendet, um im Lagerort ContosoWarehouse auf ContosoSalesTable zu verweisen. Aus anderen Datenbanken oder Lagerorten ist der erste Teil der standardmäßigen SQL-dreiteiligen Benennungskonvention der Name der gespiegelten Datenbank.
SELECT *
FROM ContosoWarehouse.dbo.ContosoSalesTable AS Contoso
INNER JOIN Affiliation
ON Affiliation.AffiliationId = Contoso.RecordTypeID;
Datentechnik mit Ihren Daten aus gespiegelten Datenbanken
Microsoft Fabric bietet verschiedene Datentechnikfunktionen, um sicherzustellen, dass Ihre Daten leicht zugänglich, gut organisiert und von hoher Qualität sind. Von Fabric-Datentechnik aus bestehen folgende Möglichkeiten:
- Erstellen und Verwalten Ihrer Daten als Spark mit einem Lakehouse
- Entwerfen von Pipelines zum Kopieren von Daten in Ihr Lakehouse
- Verwenden von Spark-Auftragsdefinitionen zum Übermitteln eines Batch-/Streamingauftrags an den Spark-Cluster
- Verwenden von Notebooks zum Schreiben von Code für die Datenerfassung, -aufbereitung und -transformation
Data Science mit Ihren gespiegelte Datenbankdaten
Mit Microsoft Fabric können Benutzer komplette Fabric Data-Science-Workflows für die Datenanreicherung und für geschäftliche Erkenntnisse abschließen. Sie können eine Vielzahl von Aktivitäten im gesamten Data-Science-Prozess durchführen, unter anderem die Untersuchung, Aufbereitung und Bereinigung von Daten sowie Experimente, Modellierung, Modellbewertung, Bereitstellung von Vorhersageerkenntnissen und BI-Berichte (Business Intelligence).
Microsoft Fabric-Benutzer können auf Data Science-Arbeitslasten zugreifen. Dort können sie verschiedene relevante Ressourcen finden und auf sie zugreifen. Sie können beispielsweise mit maschinellem Lernen Experimente, Modelle und Notebooks erstellen. Sie können auch vorhandene Notebooks auf der Data-Science-Startseite importieren.
SQL-Datenbank in Fabric
Sie können auch direkt eine SQL-Datenbank in Microsoft Fabric (Vorschau) im Fabric-Portal erstellen und verwalten. Basierend auf Azure SQL-Datenbank wird die SQL-Datenbank in Fabric automatisch für Analysezwecke gespiegelt und ermöglicht Ihnen das einfache Erstellen Ihrer betriebsfähigen Datenbank in Fabric. DIE SQL-Datenbank ist die Startseite in Fabric für OLTP-Workloads und kann in die Integration der Quellcodeverwaltung von Fabric integriert werden.