Dela via

DataReference Klass

  • Referens

Representerar en referens till data i ett datalager.

En DataReference representerar en sökväg i ett datalager och kan användas för att beskriva hur och var data ska göras tillgängliga i en körning. Det är inte längre den rekommenderade metoden för dataåtkomst och leverans i Azure Machine Learning. Datauppsättningen har stöd för åtkomst till data från Azure Blob Storage, Azure Files, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Azure SQL Database och Azure Database for PostgreSQL via ett enhetligt gränssnitt med ytterligare funktioner för datahantering. Vi rekommenderar att du använder datauppsättningen för att läsa data i dina maskininlärningsprojekt.

Mer information om hur du använder Azure ML-datauppsättning i två vanliga scenarier finns i artiklarna:

Class DataReference-konstruktor.

Arv
builtins.object
DataReference

Konstruktor

DataReference(datastore, data_reference_name=None, path_on_datastore=None, mode='mount', path_on_compute=None, overwrite=False)

Parametrar

Name Description
datastore
Obligatorisk
Union[AbstractAzureStorageDatastore, AzureDataLakeDatastore]

Det datalager som ska refereras till.
data_reference_name
str

Namnet på datareferensen.

Standardvärde: None
path_on_datastore
str

Den relativa sökvägen i säkerhetskopieringslagringen för datareferensen.

Standardvärde: None
mode
str

Åtgärden för datareferensen. Värden som stöds är "mount" (standard) och "download".

Använd nedladdningsläget när skriptet förväntar sig en specifik (t.ex. hårdkodad) sökväg för indata. I det här fallet anger du sökvägen med parametern path_on_compute när du deklarerar DataReference. Azure Machine Learning laddar ned de data som anges av den sökvägen innan skriptet körs.

Med monteringsläget skapas en tillfällig katalog med monterade data och en miljövariabel $AZUREML_DATAREFERENCE_<data_reference_name> anges med sökvägen till den tillfälliga katalogen. Om du skickar en DataReference till argumentlistan för ett pipelinesteg (t.ex. PythonScriptStep) expanderas referensen till den lokala datasökvägen vid körning.

Standardvärde: mount
path_on_compute
str

Sökvägen till beräkningsmålet för datareferensen.

Standardvärde: None
overwrite
bool

Anger om befintliga data ska skrivas över.

Standardvärde: False
datastore
Obligatorisk
Union[AbstractAzureStorageDatastore, AzureDataLakeDatastore]

Det datalager som ska refereras till.
data_reference_name
Obligatorisk
str

Namnet på datareferensen.
path_on_datastore
Obligatorisk
str

Den relativa sökvägen i säkerhetskopieringslagringen för datareferensen.
mode
Obligatorisk
str

Åtgärden för datareferensen. Värdena "mount" (standard) och "download" stöds.

Använd nedladdningsläget när skriptet förväntar sig en specifik (t.ex. hårdkodad) sökväg för indata. I det här fallet anger du sökvägen med parametern path_on_compute när du deklarerar DataReference. Azure Machine Learning laddar ned de data som anges av den sökvägen innan skriptet körs.

Med monteringsläget skapas en tillfällig katalog med monterade data och en miljövariabel $AZUREML_DATAREFERENCE_<data_reference_name> anges med sökvägen till den tillfälliga katalogen. Om du skickar en DataReference till argumentlistan för ett pipelinesteg (t.ex. PythonScriptStep) expanderas referensen till den lokala datasökvägen vid körning.
path_on_compute
Obligatorisk
str

Sökvägen till beräkningsmålet för datareferensen.
overwrite
Obligatorisk
bool

Anger om befintliga data ska skrivas över.

Kommentarer

En DataReference definierar både dataplatsen och hur data används på målberäkningsbindningen (montera eller ladda upp). Sökvägen till data i datalagret kan vara roten /, en katalog i datalagret eller en fil i datalagret.

Metoder

as_download

Växla datareferensåtgärd för nedladdning.

DataReference-nedladdning stöder endast Azure Blob och Azure File Share. Om du vill ladda ned data från Azure Blob, Azure File Share, Azure Data Lake Gen1 och Azure Data Lake Gen2 rekommenderar vi att du använder Azure Machine Learning Dataset. Mer information om hur du skapar och använder datauppsättning finns i https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets.
as_mount

Växla datareferensåtgärd till montering.

DataReference-montering stöder endast Azure Blob. För att montera data i Azure Blob, Azure File Share, Azure Data Lake Gen1 och Azure Data Lake Gen2 rekommenderar vi att du använder Azure Machine Learning Dataset. Mer information om hur du skapar och använder datauppsättning finns i https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets.
as_upload

Växla datareferensåtgärd för att ladda upp.

Mer information om vilka beräkningar och datalager som stöder uppladdning av data finns i: https://aka.ms/datastore-matrix.
create

Skapa en DataReference med DataPath och DataPathComputeBinding.
path

Skapa en DataReference-instans baserat på den angivna sökvägen.
to_config

Konvertera DataReference-objektet till DataReferenceConfiguration-objektet.

as_download

Växla datareferensåtgärd för nedladdning.

DataReference-nedladdning stöder endast Azure Blob och Azure File Share. Om du vill ladda ned data från Azure Blob, Azure File Share, Azure Data Lake Gen1 och Azure Data Lake Gen2 rekommenderar vi att du använder Azure Machine Learning Dataset. Mer information om hur du skapar och använder datauppsättning finns i https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets.

as_download(path_on_compute=None, overwrite=False)

Parametrar

Name Description
path_on_compute
str

Sökvägen till beräkningen för datareferensen.

Standardvärde: None
overwrite
bool

Anger om befintliga data ska skrivas över.

Standardvärde: False

Returer

Typ Description
DataReference

Ett nytt datareferensobjekt.

as_mount

Växla datareferensåtgärd till montering.

DataReference-montering stöder endast Azure Blob. För att montera data i Azure Blob, Azure File Share, Azure Data Lake Gen1 och Azure Data Lake Gen2 rekommenderar vi att du använder Azure Machine Learning Dataset. Mer information om hur du skapar och använder datauppsättning finns i https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets.

as_mount()

Returer

Typ Description
DataReference

Ett nytt datareferensobjekt.

as_upload

Växla datareferensåtgärd för att ladda upp.

Mer information om vilka beräkningar och datalager som stöder uppladdning av data finns i: https://aka.ms/datastore-matrix.

as_upload(path_on_compute=None, overwrite=False)

Parametrar

Name Description
path_on_compute
str

Sökvägen till beräkningen för datareferensen.

Standardvärde: None
overwrite
bool

Anger om befintliga data ska skrivas över.

Standardvärde: False

Returer

Typ Description
DataReference

Ett nytt datareferensobjekt.

create

Skapa en DataReference med DataPath och DataPathComputeBinding.

static create(data_reference_name=None, datapath=None, datapath_compute_binding=None)

Parametrar

Name Description
data_reference_name
str

Namnet på datareferensen som ska skapas.

Standardvärde: None
datapath
DataPath

[Krävs] Den datasökväg som ska användas.

Standardvärde: None
datapath_compute_binding
DataPathComputeBinding

[Krävs] Datapath-beräkningsbindningen som ska användas.

Standardvärde: None

Returer

Typ Description
DataReference

Ett DataReference-objekt.

path

Skapa en DataReference-instans baserat på den angivna sökvägen.

path(path=None, data_reference_name=None)

Parametrar

Name Description
path
str

Sökvägen till dataarkivet.

Standardvärde: None
data_reference_name
str

Namnet på datareferensen.

Standardvärde: None

Returer

Typ Description
DataReference

Datareferensobjektet.

to_config

Konvertera DataReference-objektet till DataReferenceConfiguration-objektet.

to_config()

Returer

Typ Description
DataReferenceConfiguration

Ett nytt DataReferenceConfiguration-objekt.