DataReference Klasse
Stellt einen Verweis auf Daten in einem Datenspeicher dar.
Eine DataReference-Klasse stellt einen Pfad in einem Datenspeicher dar und kann verwendet werden, um zu beschreiben, wie und wo Daten in einer Ausführung verfügbar gemacht werden sollen. Hierbei handelt es sich nicht mehr um den empfohlenen Ansatz für den Datenzugriff und die Datenbereitstellung in Azure Machine Learning. Das Dataset unterstützt das Zugreifen auf Daten aus Azure Blob Storage, Azure Files, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Azure SQL-Datenbank und Azure Database for PostgreSQL über eine einheitliche Schnittstelle mit zusätzlichen Datenverwaltungsfunktionen. Es wird empfohlen, das Dataset zum Lesen von Daten in Ihren Machine Learning-Projekten zu verwenden.
Weitere Informationen zur Verwendung des Azure ML-Datasets in zwei gängigen Szenarios finden Sie in den folgenden Artikeln:
- Erstellen und Ausführen von Machine Learning-Pipelines mit dem Azure Machine Learning SDK
- Erstellen von Kalkulatoren im Training
DataReference-Konstruktor der Klasse.
- Vererbung
-
builtins.objectDataReference
Konstruktor
DataReference(datastore, data_reference_name=None, path_on_datastore=None, mode='mount', path_on_compute=None, overwrite=False)Parameter
| Name | Beschreibung |
|---|---|
|
datastore
Erforderlich
|
Der Datenspeicher, auf den verwiesen wird. |
|
data_reference_name
|
Der Name des Datentverweises. Standardwert: None
|
|
path_on_datastore
|
Der relative Pfad im Sicherungsspeicher für den Datenverweis. Standardwert: None
|
|
mode
|
Der Vorgang für den Datenverweis. Unterstützte Werte sind 'mount' (Standard) und 'download'. Verwenden Sie den Modus 'download', wenn Ihr Skript einen bestimmten (z. B. hartcodierten) Pfad für die Eingabedaten erwartet.
Geben Sie in diesem Fall den Pfad mit dem Parameter Beim Modus 'mount' wird ein temporäres Verzeichnis mit den bereitgestellten Daten erstellt, und die Umgebungsvariable $AZUREML_DATAREFERENCE_<data_reference_name> wird mit dem Pfad zum temporären Verzeichnis festgelegt. Wenn Sie „DataReference“ für einen Pipelineschritt (z. B. „PythonScriptStep“) an die Argumentliste übergeben, wird der Verweis zur Laufzeit auf den lokalen Datenpfad erweitert. Standardwert: mount
|
|
path_on_compute
|
Der Pfad für das Computeziel für den Datenverweis. Standardwert: None
|
|
overwrite
|
Gibt an, ob vorhandene Daten überschrieben werden. Standardwert: False
|
|
datastore
Erforderlich
|
Der Datenspeicher, auf den verwiesen wird. |
|
data_reference_name
Erforderlich
|
Der Name des Datentverweises. |
|
path_on_datastore
Erforderlich
|
Der relative Pfad im Sicherungsspeicher für den Datenverweis. |
|
mode
Erforderlich
|
Der Vorgang für den Datenverweis. Unterstützte Werte "mount" (Standard) und "download". Verwenden Sie den Modus 'download', wenn Ihr Skript einen bestimmten (z. B. hartcodierten) Pfad für die Eingabedaten erwartet.
Geben Sie in diesem Fall den Pfad mit dem Parameter Beim Modus 'mount' wird ein temporäres Verzeichnis mit den bereitgestellten Daten erstellt, und die Umgebungsvariable $AZUREML_DATAREFERENCE_<data_reference_name> wird mit dem Pfad zum temporären Verzeichnis festgelegt. Wenn Sie „DataReference“ für einen Pipelineschritt (z. B. „PythonScriptStep“) an die Argumentliste übergeben, wird der Verweis zur Laufzeit auf den lokalen Datenpfad erweitert. |
|
path_on_compute
Erforderlich
|
Der Pfad für das Computeziel für den Datenverweis. |
|
overwrite
Erforderlich
|
Gibt an, ob vorhandene Daten überschrieben werden. |
Hinweise
„DataReference“ definiert sowohl den Datenspeicherort als auch die Verwendung der Daten für die Zielcomputebindung ('mount' oder 'upload'). Der Pfad zu den Daten im Datenspeicher kann das Stammverzeichnis, ein Verzeichnis innerhalb des Datenspeichers oder eine Datei im Datenspeicher sein.
Methoden
| as_download |
Ändern Sie den Datenverweisvorgang in 'download'. Der DataReference-Modus 'download' unterstützt nur Azure Blob Storage und Azure-Dateifreigaben. Zum Herunterladen von Daten aus Azure Blob Storage, Azure-Dateifreigaben, Azure Data Lake Gen1 und Azure Data Lake Gen2 wird die Verwendung von Azure Machine Learning-Datasets empfohlen. Weitere Informationen zum Erstellen und Verwenden von Datasets finden Sie unter https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets. |
| as_mount |
Ändern Sie den Datenverweisvorgang in 'mount'. Der DataReference-Modus 'mount' unterstützt nur Azure Blob Storage. Zum Einbinden von Daten in Azure Blob Storage, Azure-Dateifreigaben, Azure Data Lake Gen1 und Azure Data Lake Gen2 wird die Verwendung von Azure Machine Learning-Datasets empfohlen. Weitere Informationen zum Erstellen und Verwenden von Datasets finden Sie unter https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets. |
| as_upload |
Ändern Sie den Datenverweisvorgang in 'upload'. Weitere Informationen dazu, welche Compute- und Datenspeicher das Hochladen der Daten unterstützen, finden Sie unter https://aka.ms/datastore-matrix. |
| create |
Erstellen Sie eine DataReference-Klasse mit „DataPath“ und „DataPathComputeBinding“. |
| path |
Erstellen Sie eine DataReference-Instanz basierend auf dem angegebenen Pfad. |
| to_config |
Konvertieren Sie das DataReference-Objekt in das DataReferenceConfiguration-Objekt. |
as_download
Ändern Sie den Datenverweisvorgang in 'download'.
Der DataReference-Modus 'download' unterstützt nur Azure Blob Storage und Azure-Dateifreigaben. Zum Herunterladen von Daten aus Azure Blob Storage, Azure-Dateifreigaben, Azure Data Lake Gen1 und Azure Data Lake Gen2 wird die Verwendung von Azure Machine Learning-Datasets empfohlen. Weitere Informationen zum Erstellen und Verwenden von Datasets finden Sie unter https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets.
as_download(path_on_compute=None, overwrite=False)Parameter
| Name | Beschreibung |
|---|---|
|
path_on_compute
|
Der Pfad für die Compute für den Datenverweis. Standardwert: None
|
|
overwrite
|
Gibt an, ob vorhandene Daten überschrieben werden. Standardwert: False
|
Gibt zurück
| Typ | Beschreibung |
|---|---|
|
Ein neues Datenverweisobjekt. |
as_mount
Ändern Sie den Datenverweisvorgang in 'mount'.
Der DataReference-Modus 'mount' unterstützt nur Azure Blob Storage. Zum Einbinden von Daten in Azure Blob Storage, Azure-Dateifreigaben, Azure Data Lake Gen1 und Azure Data Lake Gen2 wird die Verwendung von Azure Machine Learning-Datasets empfohlen. Weitere Informationen zum Erstellen und Verwenden von Datasets finden Sie unter https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets.
as_mount()Gibt zurück
| Typ | Beschreibung |
|---|---|
|
Ein neues Datenverweisobjekt. |
as_upload
Ändern Sie den Datenverweisvorgang in 'upload'.
Weitere Informationen dazu, welche Compute- und Datenspeicher das Hochladen der Daten unterstützen, finden Sie unter https://aka.ms/datastore-matrix.
as_upload(path_on_compute=None, overwrite=False)Parameter
| Name | Beschreibung |
|---|---|
|
path_on_compute
|
Der Pfad für die Compute für den Datenverweis. Standardwert: None
|
|
overwrite
|
Gibt an, ob vorhandene Daten überschrieben werden. Standardwert: False
|
Gibt zurück
| Typ | Beschreibung |
|---|---|
|
Ein neues Datenverweisobjekt. |
create
Erstellen Sie eine DataReference-Klasse mit „DataPath“ und „DataPathComputeBinding“.
static create(data_reference_name=None, datapath=None, datapath_compute_binding=None)Parameter
| Name | Beschreibung |
|---|---|
|
data_reference_name
|
Der Name für den zu erstellenden Datenverweis. Standardwert: None
|
|
datapath
|
[Erforderlich] Der zu verwendende Datenpfad. Standardwert: None
|
|
datapath_compute_binding
|
[Erforderlich] Die zu verwendende Computebindung für den Datenpfad. Standardwert: None
|
Gibt zurück
| Typ | Beschreibung |
|---|---|
|
Ein DataReference-Objekt. |
path
Erstellen Sie eine DataReference-Instanz basierend auf dem angegebenen Pfad.
path(path=None, data_reference_name=None)Parameter
| Name | Beschreibung |
|---|---|
|
path
|
Der Pfad im Datenspeicher. Standardwert: None
|
|
data_reference_name
|
Der Name des Datentverweises. Standardwert: None
|
Gibt zurück
| Typ | Beschreibung |
|---|---|
|
Das Datenverweisobjekt. |
to_config
Konvertieren Sie das DataReference-Objekt in das DataReferenceConfiguration-Objekt.
to_config()Gibt zurück
| Typ | Beschreibung |
|---|---|
|
Ein neues DataReferenceConfiguration-Objekt. |