DataReference Класс
Представляет ссылку на данные в хранилище данных.
DataReference представляет собой путь в хранилище данных и может использоваться для описания того, как и где должны быть доступны данные в рамках запуска. Данный подход больше не рекомендуется при осуществлении доступа к данным и их доставки в Машинном обучении Azure. Набор данных поддерживает доступ к данным из хранилища BLOB-объектов Azure, Файлов Azure, Azure Data Lake Storage 1-го поколения, Azure Data Lake Storage 2-го поколения, Базы данных Azure SQL и Базы данных Azure для PostgreSQL с помощью единого интерфейса с дополнительными возможностями управления данными. Рекомендуется использовать набор данных для чтения данных в проектах машинного обучения.
Дополнительные сведения об использовании набора данных Azure ML в двух распространенных сценариях приведены в статьях:
Конструктор Class DataReference.
- Наследование
-
builtins.objectDataReference
Конструктор
DataReference(datastore, data_reference_name=None, path_on_datastore=None, mode='mount', path_on_compute=None, overwrite=False)Параметры
| Имя | Описание |
|---|---|
|
datastore
Обязательно
|
Хранилище данных, на которое будет дана ссылка. |
|
data_reference_name
|
Имя ссылки на данные. Default value: None
|
|
path_on_datastore
|
Относительный путь в резервном хранилище для ссылки на данные. Default value: None
|
|
mode
|
Операция со ссылкой на данные. Поддерживаются значения "Подключение" (по умолчанию) и "Загрузка". Используйте режим "Загрузка", если скрипт ожидает конкретный (например, жестко заданный) путь для входных данных.
В этом случае укажите путь с параметром В режиме "Подключение" создается временный каталог с подключенными данными, и переменная среды $AZUREML_DATAREFERENCE_data_reference_name< data_reference_name> задается с путем к временному каталогу. Если DataReference передается в список аргументов для шага конвейера (например, PythonScriptStep), ссылка будет дополнена путем к локальным данным в среде выполнения. Default value: mount
|
|
path_on_compute
|
Путь к целевому объекту вычислений для ссылки на данные. Default value: None
|
|
overwrite
|
Указывает, следует ли перезаписывать существующие данные. Default value: False
|
|
datastore
Обязательно
|
Хранилище данных, на которое будет дана ссылка. |
|
data_reference_name
Обязательно
|
Имя ссылки на данные. |
|
path_on_datastore
Обязательно
|
Относительный путь в резервном хранилище для ссылки на данные. |
|
mode
Обязательно
|
Операция со ссылкой на данные. Поддерживаемые значения mount (по умолчанию) и download. Используйте режим "Загрузка", если скрипт ожидает конкретный (например, жестко заданный) путь для входных данных.
В этом случае укажите путь с параметром В режиме "Подключение" создается временный каталог с подключенными данными, и переменная среды $AZUREML_DATAREFERENCE_data_reference_name< data_reference_name> задается с путем к временному каталогу. Если DataReference передается в список аргументов для шага конвейера (например, PythonScriptStep), ссылка будет дополнена путем к локальным данным в среде выполнения. |
|
path_on_compute
Обязательно
|
Путь к целевому объекту вычислений для ссылки на данные. |
|
overwrite
Обязательно
|
Указывает, следует ли перезаписывать существующие данные. |
Комментарии
DataReference определяет как расположение данных, так и способ их использования в целевой привязке вычислений (подключение или отправка). Путь к данным в хранилище данных может быть корневым каталогом/, каталогом в хранилище данных или файлом в хранилище данных.
Методы
| as_download |
Переключение операции ссылки на данные на загрузку. Загрузка DataReference поддерживает только BLOB-объект Azure и общую папку Azure. Для загрузки данных из BLOB-объекта Azure, общей папки Azure, Azure Data Lake 1-го поколения и Azure Data Lake 2-го поколения рекомендуется использовать набор данных Машинного обучения Azure. Дополнительные сведения о создании и использовании набора данных см. на странице https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets. |
| as_mount |
Переключение операции ссылки на данные на подключение. Подключение DataReference поддерживает только BLOB-объект Azure. Для подключения данных в BLOB-объекте Azure, общей папке Azure, Azure Data Lake 1-го поколения и Azure Data Lake 2-го поколения рекомендуется использовать набор данных Машинного обучения Azure. Дополнительные сведения о создании и использовании набора данных см. на странице https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets. |
| as_upload |
Переключение операции ссылки на данные на отправку. Дополнительные сведения о том, какие вычисления и хранилища поддерживают отправку данных, см. в разделе https://aka.ms/datastore-matrix. |
| create |
Создание DataReference с использованием DataPath и DataPathComputeBinding. |
| path |
Создание экземпляра DataReference на основе заданного пути. |
| to_config |
Преобразование объекта DataReference в объект DataReferenceConfiguration. |
as_download
Переключение операции ссылки на данные на загрузку.
Загрузка DataReference поддерживает только BLOB-объект Azure и общую папку Azure. Для загрузки данных из BLOB-объекта Azure, общей папки Azure, Azure Data Lake 1-го поколения и Azure Data Lake 2-го поколения рекомендуется использовать набор данных Машинного обучения Azure. Дополнительные сведения о создании и использовании набора данных см. на странице https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets.
as_download(path_on_compute=None, overwrite=False)Параметры
| Имя | Описание |
|---|---|
|
path_on_compute
|
Путь к объекту вычислений для ссылки на данные. Default value: None
|
|
overwrite
|
Указывает, следует ли перезаписывать существующие данные. Default value: False
|
Возвращаемое значение
| Тип | Описание |
|---|---|
|
Новый объект ссылки на данные. |
as_mount
Переключение операции ссылки на данные на подключение.
Подключение DataReference поддерживает только BLOB-объект Azure. Для подключения данных в BLOB-объекте Azure, общей папке Azure, Azure Data Lake 1-го поколения и Azure Data Lake 2-го поколения рекомендуется использовать набор данных Машинного обучения Azure. Дополнительные сведения о создании и использовании набора данных см. на странице https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets.
as_mount()Возвращаемое значение
| Тип | Описание |
|---|---|
|
Новый объект ссылки на данные. |
as_upload
Переключение операции ссылки на данные на отправку.
Дополнительные сведения о том, какие вычисления и хранилища поддерживают отправку данных, см. в разделе https://aka.ms/datastore-matrix.
as_upload(path_on_compute=None, overwrite=False)Параметры
| Имя | Описание |
|---|---|
|
path_on_compute
|
Путь к объекту вычислений для ссылки на данные. Default value: None
|
|
overwrite
|
Указывает, следует ли перезаписывать существующие данные. Default value: False
|
Возвращаемое значение
| Тип | Описание |
|---|---|
|
Новый объект ссылки на данные. |
create
Создание DataReference с использованием DataPath и DataPathComputeBinding.
static create(data_reference_name=None, datapath=None, datapath_compute_binding=None)Параметры
| Имя | Описание |
|---|---|
|
data_reference_name
|
Имя создаваемой ссылки на данные. Default value: None
|
|
datapath
|
[Обязательно] Используемый путь к данным. Default value: None
|
|
datapath_compute_binding
|
[Обязательно] Используемая привязка вычислений для пути к данным. Default value: None
|
Возвращаемое значение
| Тип | Описание |
|---|---|
|
Объект DataReference. |
path
Создание экземпляра DataReference на основе заданного пути.
path(path=None, data_reference_name=None)Параметры
| Имя | Описание |
|---|---|
|
path
|
Путь к хранилищу данных. Default value: None
|
|
data_reference_name
|
Имя ссылки на данные. Default value: None
|
Возвращаемое значение
| Тип | Описание |
|---|---|
|
Объект ссылки на данные. |
to_config
Преобразование объекта DataReference в объект DataReferenceConfiguration.
to_config()Возвращаемое значение
| Тип | Описание |
|---|---|
|
Новый объект DataReferenceConfiguration. |