Подключение клиентов к управляемой файловой системе Lustre Azure

В этой статье описывается подготовка клиентов и подключение управляемой файловой системы Lustre Azure с клиентского компьютера.

Предварительные требования к клиенту

Клиентские компьютеры под управлением Linux могут получить доступ к Управляемому Lustre Azure. Ниже приведены основные требования к клиенту.

• ПО клиента Lustre: клиенты должны иметь установленный соответствующий пакет клиента Lustre. Предварительно созданные клиентские пакеты тестируются с помощью Управляемого Lustre Azure. Инструкции и параметры скачивания пакетов см. в разделе Установка или обновление клиентского программного обеспечения Lustre. Клиентские пакеты доступны для нескольких часто используемых дистрибутивов ОС Linux.
• Сетевой доступ к файловой системе: клиентские компьютеры нуждаются в сетевом подключении к подсети, на котором размещена файловая система Azure Managed Lustre. Если клиенты находятся в другой виртуальной сети, может потребоваться использовать пиринг между виртуальными сетями.
• требования к подключению: клиенты должны иметь возможность использовать команду POSIX mount для подключения к файловой системе.
• Требования для достижения объявленной производительности:
  • Клиенты должны находиться в той же зоне доступности, в которой находится кластер.
  • Включить ускоренную сетевую функцию на всех клиентских виртуальных машинах. Если этот параметр недоступен, полной активации сети требует остановки или освобождения каждой виртуальной машины.

Базовый рабочий процесс выглядит следующим образом:

1. Установите или обновите клиентское программное обеспечение Lustre на каждом клиенте.
2. используйте команду mount, чтобы сделать файловую систему Azure Managed Lustre доступной на клиенте.
3. Если клиент больше не нужен, используйте команду umount без параметра -f (принудительно) или -l (ленивый) для аккуратного отключения клиента перед его выключением. Неправильное размонтирование клиента перед перезапуском или депровизированием может привести к проблемам с производительностью у других клиентов.

Установка или обновление клиентского программного обеспечения Lustre

Каждый клиент, подключающийся к файловой системе Lustre, должен иметь клиентский пакет Lustre, совместимый с версией Lustre файловой системы (в настоящее время 2.15).

Предварительно созданные и проверенные клиентские пакеты для Управляемого Lustre Azure можно скачать из репозитория программного обеспечения Linux для продуктов Майкрософт.

Пакеты и модули ядра доступны для следующих операционных систем Linux. Выберите ссылки, чтобы перейти к инструкциям по установке.

• AlmaLinux HPC 8.6
• AlmaLinux 8
• Red Hat Enterprise Linux 7
• Red Hat Enterprise Linux 8
• Red Hat Enterprise Linux 9
• Ubuntu 18.04
• Ubuntu 20.04
• Ubuntu 22.04

Если вам нужно поддержать другое распределение, обратитесь в службу поддержки.

Если вам нужно обновить старую версию клиента Lustre в системе Linux, см. обновление клиентского программного обеспечения Lustre до текущей версии. В процессе обновления необходимо удалить старые модули ядра и пакеты программного обеспечения.

Запустите клиент Lustre с помощью команды подключения

Подключите всех своих клиентов к IP-адресу службы управления файловой системы Lustre (MGS). В области подключения клиента на портале Azure отображается IP-адрес и приведен пример команды , которую можно скопировать и использовать для подключения клиентов.

Команда mount включает три компонента:

• Путь клиента: путь на клиентском компьютере, где должна быть подключена управляемая файловая система Lustre Azure. Значением по умолчанию является имя файловой системы, но его можно изменить. Перед использованием команды убедитесь, что этот путь к каталогу существует на клиентском mount компьютере.
• IP-адрес MGS: IP-адрес службы управления Lustre для управляемой файловой системы Azure Lustre.
• параметры команды монтирования: Пример команды mount включает дополнительные рекомендуемые параметры.

Эти компоненты собираются в команду с помощью следующей mount формы:

sudo mount -t lustre -o noatime,flock <MGS_IP>@tcp:/lustrefs /<client_path>

В команде mount:

• Значение lustrefs в термине MGS IP — это внутреннее имя, назначенное системой, связанное с кластером Lustre в управляемой Azure системе. Не изменяйте это литеральное значение при создании собственных mount команд.

• Задайте для клиента любой удобный путь подключения, который существует на клиентах. Это не обязательно имя управляемой файловой системы Lustre Azure (которое является значением по умолчанию).

Ниже приведен пример команды mount:

sudo mount -t lustre -o noatime,flock 10.0.0.4@tcp:/lustrefs /azure-lustre-mount

После подключения клиентов к файловой системе можно использовать управляемую файловую систему Azure Lustre, как и любую подключенную файловую систему. Например, можно выполнить одну из следующих задач:

• Доступ к данным из интегрированного контейнера BLOB путем отправки файлового запроса непосредственно на точку подключения. Процесс создания заполняет метаданные файловой системы, а файл добавляется в файловую систему Lustre при чтении.
• Добавьте данные в файловую систему (если вы не добавили заполненный контейнер больших двоичных объектов во время создания).
• Запустите задание вычислений.

Связанное содержимое

• Обзор Azure Managed Lustre