Bibliotheken auf der Positivliste und Initialisierungsskripts auf freigegebenem Compute

In Databricks Runtime 13.3 LTS und höher können Sie Bibliotheken und Initialisierungsskripts der allowlist in Unity Catalog hinzufügen. Dadurch können Benutzer*innen diese Artefakte auf Compute nutzen, das mit dem Modus für gemeinsamen Zugriff konfiguriert ist.

Sie können ein Verzeichnis oder einen Dateipfad per Positivliste zulassen, bevor das Verzeichnis oder die Datei vorhanden ist. Weitere Informationen finden Sie unter Hochladen von Dateien auf ein Unity Catalog-Volume.

Hinzufügen von Elementen zur Positivliste

Sie können allowlist Elemente mit dem Katalog-Explorer oder der REST-API hinzufügen.

Gehen Sie wie folgt vor, um das Dialogfeld zum Hinzufügen von Elementen zur Positivliste im Katalog-Explorer zu öffnen:

1. Klicken Sie in Ihrem Azure Databricks-Arbeitsbereich auf Katalog.
2. Klicken Sie auf das , um die Benutzeroberfläche für Metastoredetails und Berechtigungen zu öffnen.
3. Wählen Sie Zulässige JARs/Initialisierungsskripts aus.
4. Klicken Sie auf Hinzufügen.

Hinzufügen eines Initialisierungsskripts zur Positivliste

Führen Sie die folgenden Schritte im Dialogfeld „Positivliste“ aus, um der Positivliste ein Init-Skript hinzuzufügen:

1. Wählen Sie unter Typ die Option Initialisierungsskript aus.
2. Wählen Sie unter Quelltyp die Option Volume oder das Objektspeicherprotokoll aus.
3. Geben Sie den Quellpfad an, der der Positivliste hinzugefügt werden soll. Weitere Informationen finden Sie unter Erzwingen von Berechtigungen für Pfade in der Positivliste.

Hinzufügen einer JAR-Datei zur Positivliste

Führen Sie die folgenden Schritte im Dialogfeld „Positivliste“ aus, um der Positivliste eine JAR-Datei hinzuzufügen:

1. Wählen Sie für Typ die Option JAR aus.
2. Wählen Sie unter Quelltyp die Option Volume oder das Objektspeicherprotokoll aus.
3. Geben Sie den Quellpfad an, der der Positivliste hinzugefügt werden soll. Weitere Informationen finden Sie unter Erzwingen von Berechtigungen für Pfade in der Positivliste.

Hinzufügen von Maven-Koordinaten zur Positivliste

Führen Sie die folgenden Schritte im Dialogfeld „Positivliste“ aus, um der Positivliste Maven-Koordinaten hinzuzufügen:

1. Wählen Sie für Typ die Option Maven aus.
2. Wählen Sie unter Quelltyp die Option Koordinaten aus.
3. Geben Sie Koordinaten im folgenden Format ein: groudId:artifactId:version.
   • Sie können alle Versionen einer Bibliothek einschließen, indem Sie das folgende Format in die Positivliste einfügen: groudId:artifactId.
   • Sie können alle Artefakte in einer Gruppe einschließen, indem Sie das folgende Format in die Positivliste einfügen: groupId.

Erzwingen von Berechtigungen für Pfade in der Positivliste

Sie können die Positivliste verwenden, um Zugriff auf JARs oder Initialisierungsskripts zu gewähren, die in Unity Catalog-Volumes und Objektspeichern gespeichert sind. Wenn Sie anstelle einer Datei einen Pfad für ein Verzeichnis hinzufügen, werden die Berechtigungen der Positivliste in die enthaltenen Dateien und Verzeichnisse übertragen.

Für alle Artefakte, die in Unity Catalog-Volumes oder Objektspeichern gespeichert sind, wird ein Präfixabgleich verwendet. Um einen Präfixabgleich auf einer bestimmten Verzeichnisebene zu verhindern, fügen Sie einen nachgestellten Schrägstrich (/) ein. Beispielsweise führt /Volumes/prod-libraries/ keinen Präfixabgleich für Dateien durch, denen prod-libraries vorangestellt ist. Stattdessen werden alle Dateien und Verzeichnisse in /Volumes/prod-libraries/ der Positivliste hinzugefügt.

Sie können Berechtigungen auf den folgenden Ebenen definieren:

1. Basispfad für das Volume oder den Speichercontainer
2. In beliebiger Tiefe vom Basispfad geschachteltes Verzeichnis
3. Einzelne Datei

Durch Hinzufügen eines Pfads zur Positivliste kann dieser Pfad für Initialisierungsskripts oder JAR-Installationen verwendet werden. Azure Databricks überprüft weiterhin die Berechtigungen für den Zugriff auf Daten am angegebenen Speicherort.

Der verwendete Prinzipal muss über die Berechtigung READ VOLUME für das angegebene Volume verfügen. Siehe SELECT.

Im Modus für den Einzelbenutzerzugriff wird die Identität des zugewiesenen Prinzipals (ein Benutzer oder Dienstprinzipal) verwendet.

Im Zugriffsmodus „Freigegeben“:

• Bibliotheken verwenden die Identität des Bibliotheksinstallationsprogramms.
• Initialisierungsskripts verwenden die Identität des Clusterbesitzers.

Databricks empfiehlt, alle Objektspeicherberechtigungen im Zusammenhang mit Initialisierungsskripts und Bibliotheken schreibgeschützt zu konfigurieren. Benutzer*innen mit Schreibberechtigungen an diesen Speicherorten können möglicherweise Code in Bibliotheksdateien oder Initialisierungsskripts ändern.

Databricks empfiehlt die Verwendung von Microsoft Entra ID-Dienstprinzipalen zum Verwalten des Zugriffs auf JAR-Dateien oder Initialisierungsskripts, die in Azure Data Lake Storage Gen2 gespeichert sind. Verwenden Sie die nachfolgend verlinkte Dokumentation, um dieses Setup abzuschließen:

1. Erstellen Sie ein Dienstprinzipal mit Berechtigungen zum Lesen und Auflisten der gewünschten Blobs. Weitere Informationen finden Sie unter Zugriff auf Speicher mit Microsoft Entra ID (früher Azure Active Directory) und einem Dienstprinzipal.

2. Speichern Sie Ihre Anmeldeinformationen mithilfe von Geheimnissen. Siehe "Geheime Schlüssel verwalten".

3. Legen Sie die Eigenschaften in der Spark-Konfiguration und die Umgebungsvariablen beim Erstellen eines Clusters fest, wie im folgenden Beispiel gezeigt:

   Spark-Konfiguration:

   spark.hadoop.fs.azure.account.auth.type.<storage-account>.dfs.core.windows.net OAuth
   spark.hadoop.fs.azure.account.oauth.provider.type.<storage-account>.dfs.core.windows.net org.apache.hadoop.fs.azurebfs.oauth2.ClientCredsTokenProvider
   spark.hadoop.fs.azure.account.oauth2.client.id.<storage-account>.dfs.core.windows.net <application-id>
   spark.hadoop.fs.azure.account.oauth2.client.secret.<storage-account>.dfs.core.windows.net {{secrets/<secret-scope>/<service-credential-key>}}
   spark.hadoop.fs.azure.account.oauth2.client.endpoint.<storage-account>.dfs.core.windows.net https://login.microsoftonline.com/<tenant-id>/oauth2/token
   

   Umgebungsvariablen:

   SERVICE_CREDENTIAL={{secrets/<secret-scope>/<service-credential-key>}}
   

4. (Optional) Gestalten Sie die Initialisierungsskripts mithilfe von azcopy oder der Azure CLI um.

   Sie können auf die während der Clusterkonfiguration festgelegten Umgebungsvariablen in Ihren Initialisierungsskripts verweisen, um als Geheimnis gespeicherte Anmeldeinformationen zur Validierung zu übergeben.