Freigeben über

Herstellen einer Verbindung mit Und Verwalten von Snowflake in Microsoft Purview

  • Artikel

In diesem Artikel wird beschrieben, wie Sie Snowflake registrieren und wie Sie snowflake in Microsoft Purview authentifizieren und mit Snowflake interagieren. Weitere Informationen zu Microsoft Purview finden Sie im Einführungsartikel.

Unterstützte Funktionen

Metadatenextraktion Vollständiger Scan Inkrementelle Überprüfung Bereichsbezogene Überprüfung Klassifizierung Bezeichnen Zugriffsrichtlinie Herkunft Datenfreigabe Live-Ansicht
Ja Ja Nein Ja Ja Ja Nein Ja Nein Nein

Beim Scannen der Snowflake-Quelle unterstützt Microsoft Purview Folgendes:

  • Extrahieren von technischen Metadaten, einschließlich:

    • Server
    • Datenbanken
    • Schemata
    • Tabellen, einschließlich der Spalten, Fremdschlüssel und Eindeutigkeitseinschränkungen
    • Ansichten einschließlich der Spalten
    • Gespeicherte Prozeduren, einschließlich des Parameterdatasets und resultsets
    • Funktionen einschließlich des Parameterdatasets
    • Dudelsack
    • Stages
    • Streams einschließlich der Spalten
    • Aufgaben
    • Sequences

  • Abrufen der statischen Herkunft für Ressourcenbeziehungen zwischen Tabellen, Sichten, Streams und gespeicherten Prozeduren.

Für gespeicherte Prozeduren können Sie die Detailebene auswählen, die in den Scaneinstellungen extrahiert werden soll. Die Herkunft gespeicherter Prozeduren wird für Snowflake Scripting (SQL) und JavaScript-Sprachen unterstützt und basierend auf der Prozedurdefinition generiert.

Beim Einrichten der Überprüfung können Sie eine oder mehrere Snowflake-Datenbanken vollständig basierend auf den angegebenen Namen oder Namensmustern überprüfen oder die Überprüfung auf eine Teilmenge von Schemas festlegen, die den angegebenen Namen oder Namensmustern entsprechen.

Bekannte Einschränkungen

  • Wenn das Objekt aus der Datenquelle gelöscht wird, wird das entsprechende Objekt in Microsoft Purview bei der nachfolgenden Überprüfung derzeit nicht automatisch entfernt.
  • Die Herkunft gespeicherter Prozeduren wird für die folgenden Muster nicht unterstützt:
    • Gespeicherte Prozedur, die in den Sprachen Java, Python und Scala definiert ist.
    • Gespeicherte Prozedur mit SQL EXECUTE IMMEDIATE mit statischer SQL-Abfrage als Variable.

Voraussetzungen

Erforderliche Berechtigungen für die Überprüfung

Microsoft Purview unterstützt die Standardauthentifizierung (Benutzername und Kennwort) zum Überprüfen von Snowflake. Die Standardrolle des angegebenen Benutzers wird verwendet, um die Überprüfung durchzuführen. Der Snowflake-Benutzer muss über Nutzungsrechte für ein Warehouse und die zu überprüfenden Datenbanken sowie über Lesezugriff auf Systemtabellen verfügen, um auf erweiterte Metadaten zugreifen zu können.

Hier sehen Sie eine exemplarische Vorgehensweise zum Erstellen eines Benutzers speziell für die Microsoft Purview-Überprüfung und zum Einrichten der Berechtigungen. Wenn Sie einen vorhandenen Benutzer verwenden möchten, stellen Sie sicher, dass dieser über ausreichende Rechte für das Warehouse und die Datenbankobjekte verfügt.

  1. Richten Sie eine Rolle ein purview_reader . Dazu benötigen Sie ACCOUNTADMIN-Rechte .

    USE ROLE ACCOUNTADMIN;

--create role to allow read only access - this will later be assigned to the Microsoft Purview user
CREATE OR REPLACE ROLE purview_reader;

--make sysadmin the parent role
GRANT ROLE purview_reader TO ROLE sysadmin;

  2. Erstellen Sie ein Warehouse für Microsoft Purview, um Rechte zu verwenden und zu gewähren.

    --create warehouse - account admin required
CREATE OR REPLACE WAREHOUSE purview_wh WITH 
    WAREHOUSE_SIZE = 'XSMALL' 
    WAREHOUSE_TYPE = 'STANDARD' 
    AUTO_SUSPEND = 300 
    AUTO_RESUME = TRUE 
    MIN_CLUSTER_COUNT = 1 
    MAX_CLUSTER_COUNT = 2 
    SCALING_POLICY = 'STANDARD';

--grant rights to the warehouse
GRANT USAGE ON WAREHOUSE purview_wh TO ROLE purview_reader;

  3. Erstellen Sie einen Benutzer purview für die Microsoft Purview-Überprüfung.

    CREATE OR REPLACE USER purview 
    PASSWORD = '<password>'; 

--note the default role will be used during scan
ALTER USER purview SET DEFAULT_ROLE = purview_reader;

--add user to purview_reader role
GRANT ROLE purview_reader TO USER purview;

  4. Gewähren Sie den Datenbankobjekten Leserechte.

    GRANT USAGE ON DATABASE <your_database_name> TO purview_reader;

--grant reader access to all the database structures that purview can currently scan
GRANT USAGE ON ALL SCHEMAS IN DATABASE <your_database_name> TO role purview_reader;
GRANT USAGE ON ALL FUNCTIONS IN DATABASE <your_database_name> TO role purview_reader;
GRANT USAGE ON ALL PROCEDURES IN DATABASE <your_database_name> TO role purview_reader;
GRANT SELECT ON ALL TABLES IN DATABASE <your_database_name> TO role purview_reader;
GRANT SELECT ON ALL VIEWS IN DATABASE <your_database_name> TO role purview_reader;
GRANT USAGE, READ on ALL STAGES IN DATABASE <your_database_name> TO role purview_reader;

--grant reader access to any future objects that could be created
GRANT USAGE ON FUTURE SCHEMAS IN DATABASE <your_database_name> TO role purview_reader;
GRANT USAGE ON FUTURE FUNCTIONS IN DATABASE <your_database_name> TO role purview_reader;
GRANT USAGE ON FUTURE PROCEDURES IN DATABASE <your_database_name> TO role purview_reader;
GRANT SELECT ON FUTURE TABLES IN DATABASE <your_database_name> TO role purview_reader;
GRANT SELECT ON FUTURE VIEWS IN DATABASE <your_database_name> TO role purview_reader;
GRANT USAGE, READ ON FUTURE STAGES IN DATABASE <your_database_name> TO role purview_reader;

Registrieren

In diesem Abschnitt wird beschrieben, wie Sie Snowflake in Microsoft Purview mithilfe des Microsoft Purview-Governanceportals registrieren.

Schritte zum Registrieren

Führen Sie die folgenden Schritte aus, um eine neue Snowflake-Quelle in Microsoft Purview Unified Catalog zu registrieren:

  1. Navigieren Sie im Microsoft Purview-Governanceportal zu Ihrem Microsoft Purview-Konto.
  2. Wählen Sie im linken Navigationsbereich Data Map aus.
  3. Wählen Sie Registrieren aus.
  4. Wählen Sie unter Quellen registrieren die Option Snowflake aus. Wählen Sie Weiter.

Führen Sie auf dem Bildschirm Quellen registrieren (Snowflake) die folgenden Schritte aus:

  1. Geben Sie einen Namen ein, mit dem die Datenquelle im Katalog aufgeführt wird.

  2. Geben Sie die Server-URL im Format ein <account_identifier>.snowflakecomputing.com, orgname-accountname.snowflakecomputing.comz. B. . Erfahren Sie mehr über den Snowflake-Kontobezeichner. Beachten Sie, dass diese URL als Teil des vollqualifizierten Namens der Snowflake-Ressourcen verwendet wird und der Standardendpunkt für Microsoft Purview ist, um während der Überprüfung eine Verbindung mit Snowflake herzustellen.

  3. Fügen Sie ggf. zusätzliche Hosts hinzu. Geben Sie sie an, wenn die Scanvorgänge eine Verbindung mit einem anderen Snowflake-Endpunkt als der Server-URL herstellen sollen. Sie können den Host für die Verbindung während der Einrichtung der Überprüfung auswählen.

    Tipp

    Wenn Sie Snowflake bereits gescannt haben, aber zur Verwendung eines anderen Endpunkts wechseln möchten , z. B. vom öffentlichen Endpunkt zum privaten Endpunkt, können Sie einen zusätzlichen Host in der Datenquelle hinzufügen und diesen Host für die Verbindung bei der Überprüfung auswählen, um sicherzustellen, dass Microsoft Purview die Ressourcen mit demselben vollqualifizierten Namen wie zuvor generiert.

    Beim Registrieren einer Datenquelle überprüft Microsoft Purview die Eindeutigkeit, ob sich die Server-URL und die zusätzlichen Hosts nicht mit vorhandenen Quellen überschneiden.

  4. Wählen Sie eine Sammlung aus der Liste aus.

  5. Schließen Sie ab, um die Datenquelle zu registrieren.

    Optionen zum Registrieren von Quellen

Überprüfung

Führen Sie die folgenden Schritte aus, um Snowflake zu überprüfen, um Ressourcen automatisch zu identifizieren. Weitere Informationen zum Scannen im Allgemeinen finden Sie in unserer Einführung in Scans und Erfassung.

Authentifizierung für eine Überprüfung

Der unterstützte Authentifizierungstyp für eine Snowflake-Quelle ist die Standardauthentifizierung.

Erstellen und Ausführen der Überprüfung

Führen Sie die folgenden Schritte aus, um eine neue Überprüfung zu erstellen und auszuführen:

  1. Navigieren Sie im Microsoft Purview-Governanceportal zu Quellen.

  2. Wählen Sie die registrierte Snowflake-Quelle aus.

  3. Wählen Sie + Neuer Scan aus.

  4. Geben Sie die folgenden Details an:

    1. Name: Der Name der Überprüfung

    2. Herstellen einer Verbindung über Integration Runtime: Wählen Sie die automatisch aufgelöste Integration Runtime von Azure, die verwaltete VNet IR oder SHIR gemäß Ihrem Szenario aus. Weitere Informationen finden Sie unter Auswählen der richtigen Integration Runtime-Konfiguration für Ihr Szenario. Führen Sie die Schritte unter Herstellen einer Verbindung mit Snowflake über einen verwalteten privaten Endpunkt aus, um die verwaltete VNet-IR für die Verbindung mit Snowflake über private Verbindungen zu verwenden.

    3. Host für Verbindung: Wählen Sie den Endpunkt aus, der während der Überprüfung zum Herstellen der Verbindung mit Snowflake verwendet wird. Sie können aus der Server-URL oder den zusätzlichen Hosts wählen, die Sie in der Datenquelle konfiguriert haben.

    4. Anmeldeinformationen: Wählen Sie die Anmeldeinformationen aus, um eine Verbindung mit Ihrer Datenquelle herzustellen. Stellen Sie folgendes sicher:

      • Wählen Sie Standardauthentifizierung beim Erstellen von Anmeldeinformationen aus.
      • Geben Sie im Eingabefeld Benutzername den Benutzernamen an, der zum Herstellen einer Verbindung mit Snowflake verwendet wird.
      • Speichern Sie das Benutzerkennwort, das zum Herstellen einer Verbindung mit Snowflake verwendet wird, im geheimen Schlüssel.

    5. Warehouse: Geben Sie den Namen des Lagers an instance verwendet wird, um die Überprüfung in Großbuchstaben zu ermöglichen. Die Standardrolle, die dem in den Anmeldeinformationen angegebenen Benutzer zugewiesen ist, muss über NUTZUNGsrechte für dieses Warehouse verfügen.

    6. Datenbanken: Geben Sie mindestens eine Datenbank instance Namen an, die in Großbuchstaben importiert werden sollen. Trennen Sie die Namen in der Liste durch einen Semikolon (;). Beispiel: DB1;DB2. Die Standardrolle, die dem in den Anmeldeinformationen angegebenen Benutzer zugewiesen ist, muss über ausreichende Rechte für die Datenbankobjekte verfügen.

      Hinweis

      Die Klassifizierung wird nicht auf Tabellen angewendet, wenn mehr als eine Datenbank instance Namen angegeben werden.

      Zulässige Datenbanknamensmuster können statische Namen sein oder Denkplatzhalter %enthalten. Beispiel: A%;%B;%C%;D:

      • Beginnen Sie mit A oder
      • Enden Sie mit B oder
      • C oder enthalten
      • Gleich D

    7. Schema: Listet eine Teilmenge der zu importierenden Schemas auf, ausgedrückt als durch Semikolons getrennte Liste. Beispiel: schema1;schema2. Alle Benutzerschemas werden importiert, wenn diese Liste leer ist. Alle Systemschemas und -objekte werden standardmäßig ignoriert.

      Zulässige Schemanamensmuster, die verwenden, können statische Namen sein oder einen Wildcard -Wert enthalten. Beispiel: A%;%B;%C%;D:

      • Beginnen Sie mit A oder
      • Enden Sie mit B oder
      • C oder enthalten
      • Gleich D

      Die Verwendung von NOT- und Sonderzeichen ist nicht zulässig.

    8. Details zu gespeicherten Prozeduren: Steuert die Anzahl der aus gespeicherten Prozeduren importierten Details:

      • Signatur (Standard): Der Name und die Parameter gespeicherter Prozeduren.
      • Code, Signatur: Der Name, die Parameter und der Code gespeicherter Prozeduren.
      • Herkunft, Code, Signatur: Der Name, die Parameter und der Code der gespeicherten Prozeduren sowie die vom Code abgeleitete Datenherkunft.
      • Keine: Details zu gespeicherten Prozeduren sind nicht enthalten.

      Hinweis

      Wenn Sie selbstgehostete Integration Runtime für die Überprüfung verwenden, werden ab Version 5.30.8541.1 andere benutzerdefinierte Einstellungen als die Standardsignatur unterstützt. Die früheren Versionen extrahieren immer den Namen und die Parameter gespeicherter Prozeduren.

    9. Maximal verfügbarer Arbeitsspeicher (bei Verwendung der selbstgehosteten Integration Runtime): Maximaler Arbeitsspeicher (in GB) auf der VM des Kunden, der von Überprüfungsprozessen verwendet werden soll. Dies hängt von der Größe der zu scannenden Snowflake-Quelle ab.

      Hinweis

      Geben Sie als Faustregel 1 GB Arbeitsspeicher für jeweils 1.000 Tabellen an.

      Scan Snowflake

  5. Wählen Sie Verbindung testen aus, um die Einstellungen zu überprüfen (verfügbar bei Verwendung von Azure Integration Runtime).

  6. Wählen Sie Weiter.

  7. Wählen Sie einen Überprüfungsregelsatz für die Klassifizierung aus. Sie können zwischen dem Systemstandard und vorhandenen benutzerdefinierten Regelsätzen wählen oder einen neuen Regelsatz inline erstellen. Weitere Informationen finden Sie im Artikel Klassifizierung .

    Hinweis

    Die Klassifizierung wird nicht auf Tabellen oder Sichten angewendet, wenn der Tabellenname, der Sichtname, der Schemaname oder der Datenbankname Sonderzeichen enthalten.

    Hinweis

    Wenn Sie selbstgehostete Runtime verwenden, müssen Sie ein Upgrade auf Version 5.26.404.1 oder höher durchführen, um die Snowflake-Klassifizierung zu verwenden. Die neueste Version von Microsoft Integration Runtime finden Sie hier.

  8. Wählen Sie Ihren Scantrigger aus. Sie können einen Zeitplan einrichten oder die Überprüfung einmal ausführen.

  9. Überprüfen Sie Ihre Überprüfung, und wählen Sie Speichern und ausführen aus.

Anzeigen Ihrer Überprüfungen und Überprüfungsausführungen

So zeigen Sie vorhandene Überprüfungen an:

  1. Wechseln Sie zum Microsoft Purview-Portal. Wählen Sie im linken Bereich Data Map aus.
  2. Wählen Sie die Datenquelle aus. Sie können eine Liste der vorhandenen Überprüfungen für diese Datenquelle unter Zuletzt verwendete Überprüfungen anzeigen, oder Sie können alle Überprüfungen auf der Registerkarte Scans anzeigen.
  3. Wählen Sie die Überprüfung aus, die Ergebnisse enthält, die Sie anzeigen möchten. Im Bereich werden alle vorherigen Überprüfungsausführungen zusammen mit den status und Metriken für jede Überprüfungsausführung angezeigt.
  4. Wählen Sie die Ausführungs-ID aus, um die Details der Überprüfungsausführung zu überprüfen.

Verwalten ihrer Überprüfungen

So bearbeiten, abbrechen oder löschen Sie eine Überprüfung:

  1. Wechseln Sie zum Microsoft Purview-Portal. Wählen Sie im linken Bereich Data Map aus.

  2. Wählen Sie die Datenquelle aus. Sie können eine Liste der vorhandenen Überprüfungen für diese Datenquelle unter Zuletzt verwendete Überprüfungen anzeigen, oder Sie können alle Überprüfungen auf der Registerkarte Scans anzeigen.

  3. Wählen Sie die Überprüfung aus, die Sie verwalten möchten. Anschließend können Sie:

    • Bearbeiten Sie die Überprüfung, indem Sie Überprüfung bearbeiten auswählen.
    • Brechen Sie eine laufende Überprüfung ab, indem Sie Überprüfungsausführung abbrechen auswählen.
    • Löschen Sie Ihre Überprüfung, indem Sie Überprüfung löschen auswählen.

Hinweis

  • Durch das Löschen Ihrer Überprüfung werden keine Katalogressourcen gelöscht, die aus vorherigen Überprüfungen erstellt wurden.

Herkunft

Nachdem Sie Ihre Snowflake-Quelle überprüft haben, können Sie Unified Catalog durchsuchen oder Unified Catalog suchen, um die Ressourcendetails anzuzeigen.

Wechseln Sie zur Registerkarte Asset –> Herkunft. Die Ressourcenbeziehung wird angezeigt, falls zutreffend. Informationen zu den unterstützten Snowflake-Herkunftsszenarien finden Sie im Abschnitt unterstützte Funktionen . Weitere Informationen zur Herkunft im Allgemeinen finden Sie im Benutzerhandbuch zur Datenherkunft und -herkunft.

Snowflake-Herkunftsansicht

Hinweis

Wenn eine Sicht von Tabellen aus verschiedenen Datenbanken erstellt wurde, scannen Sie alle Datenbanken gleichzeitig mithilfe der Namen in der Semikolonliste (;).

Herstellen einer Verbindung mit Snowflake über einen verwalteten privaten Endpunkt

In diesem Abschnitt werden die erforderlichen Schritte zum Einrichten eines verwalteten privaten Endpunkts (Managed Private Endpoint, PE) von Microsoft Purview zu Snowflake in Azure beschrieben. Erfahren Sie mehr über Azure Private Link und Snowflake.

  1. Rufen Sie in Ihrem Snowflake-Konto die Zielendpunkte und die Ressourcen-ID ab. Führen Sie die Systemfunktion SYSTEM$GET_PRIVATELINK_CONFIG() mit der Rolle Account Admin aus, und notieren Sie sich die Werte der folgenden Eigenschaften:

    • privatelink-pls-id
    • privatelink-account-url
    • regionless-privatelink-account-url
    • privatelink_ocsp-url
    use role accountadmin; 
select key, value::varchar from table(flatten(input=>parse_json(SYSTEM$GET_PRIVATELINK_CONFIG())));

  2. Erstellen Sie in Microsoft Purview einen verwalteten privaten Endpunkt für Snowflake.

    1. Führen Sie die Schritte unter Erstellen eines verwalteten Virtual Network Integration Runtime aus. Wenn Sie bereits über eine verfügen, stellen Sie sicher, dass es sich in Version 2 befindet, die Snowflake PE unterstützt.
    2. Erstellen Sie einen verwalteten privaten Endpunkt für Snowflake. Navigieren Sie zu Verwalteter privater Endpunkt ->+ Neu ->Snowflake, und geben Sie die folgenden Informationen ein.
      • Ressourcen-ID oder Alias: Geben Sie den Wert von privatelink-pls-id ein, den Sie abgerufen haben.
      • Vollqualifizierte Domänennamen: Fügen Sie die privatelink_ocsp-url, regionless-privatelink-account-url und privatelink-account-url hinzu.

    Einrichten eines verwalteten privaten Endpunkts für Snowflake

  3. Nach dem Erstellen des PE wird der Bereitstellungsstatus Erfolgreich und der Genehmigungsstatus Pending (Ausstehend) angezeigt. Öffnen Sie pe, und suchen Sie die Ressourcen-ID des verwalteten privaten Endpunkts auf der Detailseite.

  4. Wenden Sie sich an den technischen Support von Snowflake , und geben Sie die Ressourcen-ID an, damit Snowflake dieses PE genehmigen kann.

  5. Nachdem der Snowflake-Support bestätigt hat, dass die PE genehmigt wurde, sollte in Microsoft Purview der Status "Genehmigt " für Ihren verwalteten privaten Endpunkt angezeigt werden.

  6. Registrieren Sie die Datenquelle , und richten Sie eine Überprüfung ein. Wählen Sie beim Einrichten der Überprüfung die verwaltete VNet-IR aus, die snowflake PE zugeordnet ist.

Tipps zur Problembehandlung

  • Überprüfen Sie Ihren Kontobezeichner im Quellregistrierungsschritt. Schließen https:// Sie keinen Teil an der Vorderseite ein.
  • Stellen Sie sicher, dass der Warehousename und der Datenbankname auf der Seite zum Einrichten der Überprüfung großgeschrieben sind.
  • Überprüfen Sie Ihren Schlüsseltresor. Stellen Sie sicher, dass das Kennwort keine Tippfehler enthält.
  • Überprüfen Sie die Anmeldeinformationen, die Sie in Microsoft Purview eingerichtet haben. Der angegebene Benutzer muss über eine Standardrolle mit den erforderlichen Zugriffsrechten für das Warehouse und die Datenbank verfügen, die Sie überprüfen möchten. Weitere Informationen finden Sie unter Erforderliche Berechtigungen für die Überprüfung. VERWENDEN Sie DESCRIBE USER; , um die Standardrolle des Benutzers zu überprüfen, den Sie für Microsoft Purview angegeben haben.
  • Verwenden Sie den Abfrageverlauf in Snowflake, um zu sehen, ob Aktivitäten auftreten.
    • Wenn ein Problem mit der Kontoidentifer oder dem Kennwort vorliegt, werden keine Aktivitäten angezeigt.
    • Wenn ein Problem mit der Standardrolle vorliegt, sollte zumindest eine USE WAREHOUSE . . . -Anweisung angezeigt werden.
    • Sie können die QUERY_HISTORY_BY_USER Tabellenfunktion verwenden, um zu ermitteln, welche Rolle von der Verbindung verwendet wird. Das Einrichten eines dedizierten Microsoft Purview-Benutzers vereinfacht die Problembehandlung.

Nächste Schritte

Nachdem Sie Ihre Quelle registriert haben, folgen Sie den folgenden Anleitungen, um mehr über Microsoft Purview und Ihre Daten zu erfahren.