Data Governance mithilfe von Unity Catalog und Microsoft Purview
Data Governance ist wichtig, um sicherzustellen, dass Daten innerhalb einer Organisation sicher, effizient und in Übereinstimmung mit Vorschriften verwaltet werden. Azure Databricks, kombiniert mit Unity Catalog und Microsoft Purview, bietet eine robuste Lösung zum effektiven Verwalten von Daten und ihrer Qualität.
Data Governance-Tools
Es folgt eine Übersicht darüber, wie Data Governance mithilfe von Unity Catalog und Microsoft Purview implementiert werden kann.
Unity Catalog
Unity Catalog ist ein Feature in Azure Databricks, das eine einheitliche Governance-Lösung für alle Daten und KI-Ressourcen bietet. Es stellt einen zentralisierten Metastore bereit, der Datenobjekte in allen Arbeitsbereichen in einer Organisation verwaltet.
Microsoft Purview
Microsoft Purview ist ein einheitlicher Datengovernancedienst, der Sie bei der Verwaltung und Steuerung Ihrer lokalen Daten, von Daten in mehreren Clouds sowie von SaaS-Daten (Software-as-a-Service) unterstützt. Es bietet Funktionen wie Datenerkennung, Datenklassifizierung, Datenherkunft und Datenzugriffsgovernance.
Übersicht über Unity Catalog
Unity Catalog in Azure Databricks ist ein zentralisierter Metastore, der Metadaten für alle Datenressourcen und KI-Ressourcen in Databricks-Arbeitsbereichen verwaltet. Er ermöglicht detailgenaue Sicherheitskontrollen und Governancerichtlinien im großen Stil, wodurch es einfacher ist, Daten in mehreren Teams und Projekten sicher zu verwalten.
Schlüsselmerkmale des Unity-Katalogs
Vereinigter Namespace: Unity Catalog bietet einen einzigen Namespace für Datasets, Dateien und Machine Learning-Modellen in allen Arbeitsbereichen, was die Verwaltung und Entdeckung von Ressourcen erleichtert.
Detailgenaue Zugriffssteuerung: Es ermöglicht Administratoren, präzise Zugriffssteuerungen für Daten mithilfe von SQL GRANT- und REVOKE-Standardanweisungen festzulegen, die am Prinzip der geringsten Rechte ausgerichtet sind.
Datenherkunft: Der Unity Catalog erfasst und zeigt die Datenherkunft an, die für die Nachverfolgung des Datenflusses und das Verständnis seiner Transformationen im Laufe der Zeit von entscheidender Bedeutung ist.
Verwaltung von zentralisierten Metadaten: verwaltet alle Metadaten zentral und stellt so sicher, dass Definitionen, Beschreibungen und andere Metadaten in Projekten und Arbeitsbereichen konsistent sind.
Integration in Databricks SQL: Unity Catalog ist vollständig in Databricks SQL integriert, was eine nahtlose Abfrage und Verwaltung von Datenressourcen ermöglicht, ohne Daten aus der Plattform zu verschieben.
Überblick über Microsoft Purview
Microsoft Purview bietet eine Reihe von Data Governance-Tools, die Sichtbarkeit, Kontrolle und Einblicke in die Datennutzung in einer Organisation bieten. Es hilft Ihnen, Daten zu entdecken, zu klassifizieren, zu schützen und zu überwachen, unabhängig davon, wo sie sich befinden.
Wichtige Features von Microsoft Purview für Azure Databricks
Datenerkennung und -klassifizierung: Überprüfen und klassifizieren Sie Daten in Ihrer Azure Databricks-Umgebung automatisch mithilfe integrierter Klassifizierungen, und erstellen Sie auch benutzerdefinierte Klassifizierungen.
Datenherkunft: bietet detaillierte Einblicke in die Datenherkunft und zeigt, wie Daten transformiert und über verschiedene Systeme und Prozesse hinweg verschoben werden, unter anderem in Azure Databricks.
Data Map: Aggregiert Metadaten aus verschiedenen Datenquellen zu einem durchsuchbaren Katalog, sodass Benutzer die Datenlandschaft und ihre Beziehungen verstehen können.
Zugriffs- und Richtlinienverwaltung: Ermöglicht die Erstellung von Governancerichtlinien, die erzwingen, wie auf Daten in Azure Databricks und anderen integrierten Systemen zugegriffen wird und Daten verwendet werden.
Erkenntnisse und Berichterstellung: Bietet detaillierte Berichte zu Datenerkennung, Vertraulichkeitsklassifizierung und Zugriffsanalysen, die zur Sicherstellung der Compliance und Optimierung von Datengovernancestrategien beitragen.