Freigeben über

Python-Skriptaufgabe für Jobs

  • Artikel

Verwenden Sie die Python-Skript-Aufgabe, um eine Python-Datei auszuführen.

Konfigurieren einer Python-Skriptaufgabe

Bevor Sie beginnen, müssen Sie Ihr Python-Skript an einen Speicherort hochladen, auf den der Benutzer zugreifen kann, der den Job konfiguriert. Databricks empfiehlt die Verwendung von Arbeitsbereichsdateien für Python-Skripts. Weitere Informationen finden Sie unter Was sind Arbeitsbereichsdateien?.

Hinweis

Die Job-Benutzeroberfläche zeigt Optionen dynamisch basierend auf anderen konfigurierten Einstellungen an.

Databricks empfiehlt, Code oder Daten mithilfe von DBFS-Wurzel oder Bereitstellungen zu speichern. Stattdessen können Sie Python-Skripts zu Arbeitsbereichsdateien oder Volumes migrieren oder URIs verwenden, um auf Cloud-Objektspeicher zuzugreifen.

So beginnen Sie den Flow zum Konfigurieren einer Python script-Aufgabe:

  1. Navigieren Sie zur Registerkarte Aufgaben in der Benutzeroberfläche „Jobs“.
  2. Wählen Sie im Dropdownmenü Typ die Option Python script aus.

Konfigurieren der Quelle

Wählen Sie im Dropdown-Menü Quelle einen Speicherort für das Python-Skript mit einer der folgenden Optionen aus.

Arbeitsbereich

Verwenden Sie Arbeitsbereich, um ein Python-Skript zu konfigurieren, das mithilfe von Arbeitsbereichsdateien gespeichert ist.

  1. Klicken Sie auf das Feld Pfad. Der Dialog Python-Datei auswählen wird angezeigt.
  2. Navigieren Sie zum Python-Skript, klicken Sie, um die Datei hervorzuheben, und klicken Sie auf Bestätigen.

Hinweis

Mit dieser Option können Sie eine Aufgabe in einem Python-Skript konfigurieren, das in einem Git-Ordner „Databricks“ gespeichert ist. Databricks empfiehlt die Verwendung der Git-Anbieter-Optionen und eines Remote-Git-Repositorys zur Versionsverwaltung von Ressourcen, die mit Jobs geplant sind.

DBFS/ADLS

Verwenden Sie DBFS/ADLS, um ein Python-Skript zu konfigurieren, das in einem Volume, in einem Cloud-Objektspeicherort oder in der DBFS-Wurzel gespeichert ist.

Databricks empfiehlt, Python-Skripts in Unity Catalog-Volumes oder Cloud-Objektspeicher zu speichern.

Geben Sie im Feld Pfad die URI zu Ihrem Python-Skript ein. Zum Beispiel: /Volumes/path/to/script.py oder abfss://container-name@storage-account-name.dfs.core.windows.net/path/to/script.py.

Git-Anbieter

Verwenden Sie Git-Anbieter, um ein Python-Skript zu konfigurieren, das in einem Remote-Git-Repository gespeichert ist.

Die von der Benutzeroberfläche angezeigten Optionen hängen davon ab, ob Sie bereits einen Git-Anbieter an anderer Stelle konfiguriert haben. Nur ein Git-Remote-Repository kann für alle Aufgaben in einem Job verwendet werden. Siehe Verwenden von Git mit Jobs.

Das Feld Pfad wird angezeigt, nachdem Sie eine Git-Referenz konfiguriert haben.

Geben Sie den relativen Pfad für Ihr Python-Skript ein, z. B. etl/bronze/ingest.py.

Wichtig

Wenn Sie den relativen Pfad eingeben, beginnen Sie nicht mit / oder ./. Ist der absolute Pfad für den Python-Code, auf den Sie zugreifen möchten, beispielsweise /etl/bronze/ingest.py, geben Sie im Feld Pfad etl/bronze/ingest.py ein.

Konfigurieren von Compute und abhängigen Bibliotheken

  1. Verwenden Sie Compute, um einen Cluster auszuwählen oder zu konfigurieren, der die Logik in Ihrem Skript unterstützt.
  2. Wenn Sie Serverless-Compute verwenden, verwenden Sie das Feld Umgebung und Bibliotheken, um eine neue Umgebung auszuwählen, zu bearbeiten oder hinzuzufügen. Weitere Informationen finden Sie unter Installieren von Notebookabhängigkeiten.
  3. Klicken Sie für alle anderen Computekonfigurationen unter abhängigen Bibliotheken auf +Hinzufügen. Der Dialog Abhängige Bibliothek hinzufügen wird angezeigt.
    • Sie können eine vorhandene Bibliothek auswählen oder eine neue Bibliothek hochladen.
    • Sie können nur Bibliotheken verwenden, die an einem Speicherort gespeichert sind, der von Ihren Compute-Konfigurationen unterstützt wird. Siehe Python-Bibliotheksunterstützung.
    • Jede Bibliotheksquelle verfügt über einen anderen Flow zum Auswählen oder Hochladen einer Bibliothek. Weitere Informationen finden Sie unter Bibliotheken.

Abschließen der Job-Konfiguration

  1. (Optional) Konfigurieren Sie Parameter als eine Liste von Zeichenketten, die als CLI-Argumente an das Python-Skript übergeben werden. Weitere Informationen finden Sie unter Konfigurieren von Aufgabenparametern.
  2. Klicken Sie auf Aufgabe speichern.