DataReference Classe
Representa uma referência a dados em um armazenamento de dados.
Uma DataReference representa um caminho em um armazenamento de dados e pode ser usada para descrever como e onde os dados devem ser disponibilizados em uma execução. Essa não é mais a abordagem recomendada para acesso e entrega de dados no Azure Machine Learning. O conjunto de dados dá suporte ao acesso de dados de Armazenamento de Blobs do Azure, Arquivos do Azure, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Banco de Dados SQL do Azure e Banco de Dados do Azure para PostgreSQL por meio de interface unificada com recursos de gerenciamento de dados adicionados. É recomendável usar o conjunto de dados para ler dados em seus projetos de machine learning.
Para obter mais informações sobre como usar o conjunto de dados do Azure ML em dois cenários comuns, consulte os artigos:
Construtor DataReference de classe.
- Herança
-
builtins.objectDataReference
Construtor
DataReference(datastore, data_reference_name=None, path_on_datastore=None, mode='mount', path_on_compute=None, overwrite=False)Parâmetros
| Nome | Description |
|---|---|
|
datastore
Obrigatório
|
O armazenamento de dados para referenciar. |
|
data_reference_name
|
O nome da referência de dados. Valor padrão: None
|
|
path_on_datastore
|
O caminho relativo no armazenamento de suporte para referência de dados. Valor padrão: None
|
|
mode
|
A operação na referência de dados. Os valores compatíveis são 'mount' (o padrão) e 'download'. Use o modo 'download' quando o script espera um caminho específico (por exemplo, embutido em código) para os dados de entrada.
Nesse caso, especifique o caminho com o parâmetro Com o modo 'mount', um diretório temporário é criado com os dados montados e uma variável de ambiente $AZUREML _DATAREFERENCE_ <data_reference_name> é definido com o caminho para o diretório temporário. Se você passar um DataReference para a lista de argumentos de uma etapa do pipeline (por exemplo, PythonScriptStep), a referência será expandida para o caminho de dados local em runtime. Valor padrão: mount
|
|
path_on_compute
|
O caminho no destino de computação para a referência de dados. Valor padrão: None
|
|
overwrite
|
Indica se os dados existentes devem ser substituídos. Valor padrão: False
|
|
datastore
Obrigatório
|
O armazenamento de dados para referenciar. |
|
data_reference_name
Obrigatório
|
O nome da referência de dados. |
|
path_on_datastore
Obrigatório
|
O caminho relativo no armazenamento de suporte para referência de dados. |
|
mode
Obrigatório
|
A operação na referência de dados. Valores com suporte 'mount' (o padrão) e 'download'. Use o modo 'download' quando o script espera um caminho específico (por exemplo, embutido em código) para os dados de entrada.
Nesse caso, especifique o caminho com o parâmetro Com o modo 'mount', um diretório temporário é criado com os dados montados e uma variável de ambiente $AZUREML _DATAREFERENCE_ <data_reference_name> é definido com o caminho para o diretório temporário. Se você passar um DataReference para a lista de argumentos de uma etapa do pipeline (por exemplo, PythonScriptStep), a referência será expandida para o caminho de dados local em runtime. |
|
path_on_compute
Obrigatório
|
O caminho no destino de computação para a referência de dados. |
|
overwrite
Obrigatório
|
Indica se os dados existentes devem ser substituídos. |
Comentários
Um DataReference define o local dos dados e como os dados são usados na associação de computação de destino (montagem ou upload). O caminho para os dados no armazenamento de dados pode ser a raiz /, um diretório dentro do armazenamento de dados ou um arquivo no armazenamento de dados.
Métodos
| as_download |
Alterna a operação de referência de dados para download. O download de DataReference dá suporte apenas ao Blob do Azure e ao Compartilhamento de Arquivos do Azure. Para baixar dados do Azure Blob, Azure File Share, Azure Data Lake Gen1 e Azure Data Lake Gen2, recomendamos usar o conjunto de dados do Azure Machine Learning. Para obter mais informações sobre como criar e usar o conjunto de dados, acesse https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets. |
| as_mount |
Alterna a operação de referência de dados para montar. A montagem DataReference só é compatível com o Azure Blob. Para montar dados no Azure Blob, Azure File Share, Azure Data Lake Gen1 e Azure Data Lake Gen2, recomendamos usar o conjunto de dados do Azure Machine Learning. Para obter mais informações sobre como criar e usar o conjunto de dados, acesse https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets. |
| as_upload |
Alterna a operação de referência de dados para carregar. Para obter mais informações sobre quais computações e armazenamentos de dados são compatíveis com o carregamento de dados, consulte: https://aka.ms/datastore-matrix. |
| create |
Cria um DataReference usando DataPath e DataPathComputeBinding. |
| path |
Cria uma instância de DataReference com base no caminho fornecido. |
| to_config |
Converte o objeto DataReference no objeto DataReferenceConfiguration. |
as_download
Alterna a operação de referência de dados para download.
O download de DataReference dá suporte apenas ao Blob do Azure e ao Compartilhamento de Arquivos do Azure. Para baixar dados do Azure Blob, Azure File Share, Azure Data Lake Gen1 e Azure Data Lake Gen2, recomendamos usar o conjunto de dados do Azure Machine Learning. Para obter mais informações sobre como criar e usar o conjunto de dados, acesse https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets.
as_download(path_on_compute=None, overwrite=False)Parâmetros
| Nome | Description |
|---|---|
|
path_on_compute
|
O caminho na computação para a referência de dados. Valor padrão: None
|
|
overwrite
|
Indica se os dados existentes devem ser substituídos. Valor padrão: False
|
Retornos
| Tipo | Description |
|---|---|
|
Um novo objeto de referência de dados. |
as_mount
Alterna a operação de referência de dados para montar.
A montagem DataReference só é compatível com o Azure Blob. Para montar dados no Azure Blob, Azure File Share, Azure Data Lake Gen1 e Azure Data Lake Gen2, recomendamos usar o conjunto de dados do Azure Machine Learning. Para obter mais informações sobre como criar e usar o conjunto de dados, acesse https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets.
as_mount()Retornos
| Tipo | Description |
|---|---|
|
Um novo objeto de referência de dados. |
as_upload
Alterna a operação de referência de dados para carregar.
Para obter mais informações sobre quais computações e armazenamentos de dados são compatíveis com o carregamento de dados, consulte: https://aka.ms/datastore-matrix.
as_upload(path_on_compute=None, overwrite=False)Parâmetros
| Nome | Description |
|---|---|
|
path_on_compute
|
O caminho na computação para a referência de dados. Valor padrão: None
|
|
overwrite
|
Indica se os dados existentes devem ser substituídos. Valor padrão: False
|
Retornos
| Tipo | Description |
|---|---|
|
Um novo objeto de referência de dados. |
create
Cria um DataReference usando DataPath e DataPathComputeBinding.
static create(data_reference_name=None, datapath=None, datapath_compute_binding=None)Parâmetros
| Nome | Description |
|---|---|
|
data_reference_name
|
O nome da referência de dados a ser criada. Valor padrão: None
|
|
datapath
|
[Obrigatório] O caminho de dados a ser usado. Valor padrão: None
|
|
datapath_compute_binding
|
[Obrigatório] A associação de computação do caminho de dados a ser usada. Valor padrão: None
|
Retornos
| Tipo | Description |
|---|---|
|
Um objeto DataReference. |
path
Cria uma instância de DataReference com base no caminho fornecido.
path(path=None, data_reference_name=None)Parâmetros
| Nome | Description |
|---|---|
|
path
|
O caminho no armazenamento de dados. Valor padrão: None
|
|
data_reference_name
|
O nome da referência de dados. Valor padrão: None
|
Retornos
| Tipo | Description |
|---|---|
|
O objeto de referência de dados. |
to_config
Converte o objeto DataReference no objeto DataReferenceConfiguration.
to_config()Retornos
| Tipo | Description |
|---|---|
|
Um novo objeto DataReferenceConfiguration. |