Создание задания импорта из хранилища BLOB-объектов в файловую систему
Azure Managed Lustre интегрируется с Хранилищем BLOB-объектов Azure, чтобы упростить процесс импорта данных из контейнера BLOB-объектов в файловую систему. Эту интеграцию можно настроить во время создания кластера и создать задание импорта в любое время после создания кластера.
Из этой статьи вы узнаете, как с помощью портала Azure создать задание импорта данных из контейнера BLOB-объектов в существующую файловую систему Azure Managed Lustre.
Примечание
При импорте данных из контейнера BLOB-объектов в файловую систему Azure Managed Lustre в пространство имен Lustre импортируются только имена файлов (пространство имен) и метаданные. Фактическое содержимое большого двоичного объекта импортируется при первом обращении клиента. При первом доступе к данным существует небольшая задержка, в то время как функция управления иерархическим хранилищем Lustre (HSM) извлекает содержимое большого двоичного объекта в соответствующий файл в файловой системе. Эта задержка возникает только при первом обращении к файлу.
Вы можете выбрать предварительную выборку содержимого больших двоичных объектов с помощью команды Lustre lfs hsm_restore из подключенного клиента с возможностями sudo. Дополнительные сведения см. в статье Восстановление данных из хранилища BLOB-объектов.
Предварительные требования
- Существующая файловая система Lustre, управляемая Azure. Создайте ее с помощью портала Azure, Azure Resource Manager или Terraform. Дополнительные сведения об интеграции BLOB-объектов см. в разделе Предварительные требования к интеграции BLOB-объектов.
создание задания импорта;
Импорт данных из контейнера BLOB-объектов в файловую систему Azure Managed Lustre начинается с создания задания импорта. В этом разделе описано, как создать, настроить и запустить задание импорта на портале Azure.
Примечание
Одновременно может выполняться только одно задание импорта или экспорта. Например, если выполняется задание импорта, попытка запустить другое задание импорта или экспорта возвращает ошибку.
Настройка параметров импорта и запуск задания
Чтобы настроить параметры импорта и запустить задание, выполните следующие действия.
- На портале Azure откройте файловую систему Azure Managed Lustre и перейдите в область интеграции с BLOB-объектами в разделе Параметры.
- Выберите + Создать задание.
- Выберите Импорт в раскрывающемся списке Тип задания .
- Введите имя задания импорта в поле Имя задания .
- Выберите значение для поля Режим разрешения конфликтов . Этот параметр определяет, как задание импорта обрабатывает конфликты между существующими файлами в файловой системе и импортируемыми файлами. В этом примере мы выбираем Пропустить. Дополнительные сведения см. в разделе Режим разрешения конфликтов.
- Выберите значение для параметра Погрешность. Этот параметр определяет, как задание импорта обрабатывает ошибки, возникающие во время импорта. В этом примере мы выбираем Разрешить ошибки. Дополнительные сведения см. в статье Отказоустойчивость ошибок.
- Введите префиксы импорта, чтобы отфильтровать данные, импортированные из хранилища BLOB-объектов. Портал Azure позволяет ввести до 10 префиксов. В этом примере мы указываем префиксы /data и /logs. Дополнительные сведения см. в статье Импорт префикса.
- После настройки задания нажмите кнопку Пуск , чтобы начать процесс импорта.
На следующем снимке экрана показаны параметры конфигурации задания импорта на портале Azure:
Мониторинг задания импорта
После создания задания импорта можно отслеживать его ход выполнения, чтобы убедиться, что оно успешно завершено. В этом разделе описано, как отслеживать задание импорта на портале Azure.
Чтобы просмотреть сведения о задании, выполните следующие действия.
- На портале Azure откройте файловую систему Azure Managed Lustre и перейдите в область интеграции с BLOB-объектами в разделе Параметры.
- Выберите задание импорта, которое вы хотите отслеживать, в списке последних заданий.
- В области Сведений о задании отображаются сведения о задании, включая состояние задания, время начала, импортированные blob-объекты, а также все ошибки или конфликты, возникшие в процессе импорта.
На следующем снимке экрана показаны сведения о задании импорта на портале Azure:
После завершения задания можно просмотреть контейнер ведения журнала, чтобы просмотреть подробные сведения о процессе импорта, включая все возникшие ошибки или конфликты. Эти сведения доступны только после завершения задания.
Дальнейшие действия
Дополнительные сведения об использовании хранилища BLOB-объектов Azure с Управляемым lustre Azure см. в статье Использование хранилища BLOB-объектов Azure с файловой системой Azure Managed Lustre.