空間分析コンテナーをインストールして実行する (プレビュー)

Azure Stack Edge は、サービスとしてのハードウェア ソリューションであり、ネットワーク データ転送機能を備えた AI 対応の Edge コンピューティング デバイスです。 準備とセットアップの詳細な手順については、Azure Stack Edge のドキュメントを参照してください。

ハードウェアに最低限必要な条件

• 4 GB のシステム RAM
• 4 GB の GPU RAM
• 8 コア CPU
• 1 つの NVIDIA CUDA Azure Compute Capable GPU 6.0 以降 (たとえば、NVIDIA Tesla T4、A2、1080Ti、または 2080Ti)
• 20 GB の HDD 領域

推奨ハードウェア

• 32 GB のシステム RAM
• 16 GB の GPU RAM
• 8 コア CPU
• 2 つの NVIDIA CUDA Azure Compute Capable GPU 6.0 以降 (たとえば、NVIDIA Tesla T4、A2、1080Ti、または 2080Ti)
• 50 GB の SSD 領域

この記事では、次のソフトウェア パッケージをダウンロードしてインストールします。 ホスト コンピューターによって以下を実行できる必要があります (手順については以下を参照してください)。

• NVIDIA グラフィックス ドライバーと NVIDIA CUDA Toolkit GPU ドライバーの最小バージョンは、460 と CUDA 11.1 です。
• NVIDIA MPS (マルチプロセス サービス) の構成。
• Docker CE と NVIDIA-Docker2
• Azure IoT Edge ランタイム。

この例では、1 つの v100 GPU が搭載された NCv3 シリーズ VM を使用します。

Azure Stack Edge ポータルでコンピューティングを構成する

空間分析では、Azure Stack Edge のコンピューティング機能を使用して AI ソリューションを実行します。 コンピューティング機能を有効にするには、次のことを確認してください。

• Azure Stack Edge デバイスの接続とアクティブ化が済んでいること。
• デバイスにアクセスするために、PowerShell 5.0 以降を実行している Windows クライアント システムにアクセスできること。
• Kubernetes クラスターをデプロイするには、Azure portal でローカル UI を使用して Azure Stack Edge デバイスを構成する必要があります。
  1. Azure Stack Edge デバイスでコンピューティング機能を有効にします。 コンピューティングを有効にするには、デバイスの Web インターフェイスで [コンピューティング] ページに移動します。
  2. コンピューティングに対して有効にするネットワーク インターフェイスを選択して、[有効] を選択します。 これにより、そのネットワーク インターフェイス上のデバイスに仮想スイッチが作成されます。
  3. Kubernetes テスト ノードの IP アドレスと Kubernetes 外部サービスの IP アドレスは空白のままにします。
  4. [適用] を選択します。 この操作には 2 分ほどかかることがあります。

Azure Stack Edge ロールを設定し、IoT Hub リソースを作成する

Azure portal で、お使いの Azure Stack Edge リソースに移動します。 [概要] ページまたはナビゲーション リストで、Edge コンピューティングの [開始] ボタンを選択します。 [Edge コンピューティングの構成] タイルで、[構成]を選択します。

[Edge コンピューティングの構成] ページで、既存の IoT ハブを選択するか、新しいものを作成します。 既定では、IoT Hub リソースの作成には Standard (S1) 価格レベルが使用されます。 Free レベルの IoT Hub リソースを使用するには、それを作成してから選択します。 IoT Hub リソースによって、Azure Stack Edge リソースで使用されるのと同じサブスクリプションとリソース グループが使用されます

［作成］ を選択します IoT Hub リソースの作成は数分かかることがあります。 IoT Hub リソースが作成された後、[Edge コンピューティングの構成] タイルが更新され、新しい構成が表示されます。 Edge コンピューティング ロールが構成されたことを確認するには、 [コンピューティングの構成] タイルの [構成の表示] を選択します。

Edge デバイスで Edge コンピューティング ロールが設定されると、2 つのデバイスが作成されます (IoT デバイスと IoT Edge デバイス)。 IoT Hub リソースでは、両方のデバイスを表示できます。 Azure IoT Edge ランタイムは、IoT Edge デバイス上で既に実行されています。

Azure Stack Edge での MPS を有効にする

Windows クライアントからリモートで接続するには、次の手順に従います。

1. Windows PowerShell セッションを管理者として実行します。

2. Windows リモート管理サービスがクライアントで実行されていることを確認します。 コマンド プロンプトに、次のコマンドを入力します。

   winrm quickconfig
   

   詳細については、「Windows リモート管理のためのインストールと構成」をご覧ください。

3. hosts ファイルで使用される接続文字列に変数を割り当てます。

   $Name = "<Node serial number>.<DNS domain of the device>"
   

   <Node serial number> と <DNS domain of the device> は、デバイスのノードのシリアル番号と DNS ドメインに置き換えます。 ノードのシリアル番号の値は、デバイスのローカル Web UI の [証明書] ページから、そして DNS ドメインは [デバイス] ページから取得できます。

4. デバイスの接続文字列をクライアントの信頼されたホスト一覧に追加するために、次のコマンドを入力します。

   Set-Item WSMan:\localhost\Client\TrustedHosts $Name -Concatenate -Force
   

5. デバイスの Windows PowerShell セッションを開始します。

   Enter-PSSession -ComputerName $Name -Credential ~\EdgeUser -ConfigurationName Minishell -UseSSL
   

   信頼関係に関連するエラーが表示された場合は、デバイスにアップロードされたノード証明書の署名チェーンが、デバイスにアクセスしているクライアントにもインストールされているかどうかを確認します。

6. パスワードの入力を求められたら、入力します。 ローカル Web UI へのサインインに使用するパスワードと同じものを使用してください。 既定のローカル Web UI パスワードは Password1 です。 リモート PowerShell を使用してデバイスに正常に接続すると、次のサンプル出力が表示されます。

   Windows PowerShell
   Copyright (C) Microsoft Corporation. All rights reserved.
   
   PS C:\WINDOWS\system32> winrm quickconfig
   WinRM service is already running on this machine.
   PS C:\WINDOWS\system32> $Name = "1HXQG13.wdshcsso.com"
   PS C:\WINDOWS\system32> Set-Item WSMan:\localhost\Client\TrustedHosts $Name -Concatenate -Force
   PS C:\WINDOWS\system32> Enter-PSSession -ComputerName $Name -Credential ~\EdgeUser -ConfigurationName Minishell -UseSSL
   
   WARNING: The Windows PowerShell interface of your device is intended to be used only for the initial network configuration. Please engage Microsoft Support if you need to access this interface to troubleshoot any potential issues you may be experiencing. Changes made through this interface without involving Microsoft Support could result in an unsupported configuration.
   [1HXQG13.wdshcsso.com]: PS>
   

使用するホスト コンピューターが Azure Stack Edge デバイスでない場合は、次の手順に従います。

NVIDIA CUDA Toolkit および Nvidia グラフィックス ドライバーをホスト コンピューターにインストールする

次の bash スクリプトを使用して、必要な Nvidia グラフィックス ドライバーと、CUDA Toolkit をインストールします。

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/cuda-ubuntu1804.pin
sudo mv cuda-ubuntu1804.pin /etc/apt/preferences.d/cuda-repository-pin-600
sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/3bf863cc.pub
sudo add-apt-repository "deb http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/ /"
sudo apt-get update
sudo apt-get -y install cuda

コンピューターを再起動し、次のコマンドを実行します。

nvidia-smi

次の出力が表示されます。

ホスト コンピューターに Docker CE と nvidia-docker2 をインストールする

ホスト コンピューターに Docker CE をインストールします。

sudo apt-get update
sudo apt-get install -y apt-transport-https ca-certificates curl gnupg-agent software-properties-common
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"
sudo apt-get update
sudo apt-get install -y docker-ce docker-ce-cli containerd.io

nvidia-docker-2 ソフトウェア パッケージをインストールします。

distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
sudo apt-get update
sudo apt-get install -y docker-ce nvidia-docker2
sudo systemctl restart docker

ホスト コンピューター上で NVIDIA MPS を有効にする

最適なパフォーマンスと使用率を得るには、NVIDIA マルチプロセス サービス (MPS) 用にホスト コンピューターの GPU を構成します。 ホスト コンピューターのターミナル ウィンドウから、MPS の手順を行います。

# Set GPU(s) compute mode to EXCLUSIVE_PROCESS
sudo nvidia-smi --compute-mode=EXCLUSIVE_PROCESS

# Cronjob for setting GPU(s) compute mode to EXCLUSIVE_PROCESS on boot
echo "SHELL=/bin/bash" > /tmp/nvidia-mps-cronjob
echo "PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin" >> /tmp/nvidia-mps-cronjob
echo "@reboot   root    nvidia-smi --compute-mode=EXCLUSIVE_PROCESS" >> /tmp/nvidia-mps-cronjob

sudo chown root:root /tmp/nvidia-mps-cronjob
sudo mv /tmp/nvidia-mps-cronjob /etc/cron.d/

# Service entry for automatically starting MPS control daemon
echo "[Unit]" > /tmp/nvidia-mps.service
echo "Description=NVIDIA MPS control service" >> /tmp/nvidia-mps.service
echo "After=cron.service" >> /tmp/nvidia-mps.service
echo "" >> /tmp/nvidia-mps.service
echo "[Service]" >> /tmp/nvidia-mps.service
echo "Restart=on-failure" >> /tmp/nvidia-mps.service
echo "ExecStart=/usr/bin/nvidia-cuda-mps-control -f" >> /tmp/nvidia-mps.service
echo "" >> /tmp/nvidia-mps.service
echo "[Install]" >> /tmp/nvidia-mps.service
echo "WantedBy=multi-user.target" >> /tmp/nvidia-mps.service

sudo chown root:root /tmp/nvidia-mps.service
sudo mv /tmp/nvidia-mps.service /etc/systemd/system/

sudo systemctl --now enable nvidia-mps.service

ホスト コンピューター上で Azure IoT Edge を構成する

ホスト コンピューターに空間分析コンテナーをデプロイするには、Standard (S1) または Free (F0) の価格レベルを使用して、Azure IoT Hub サービスのインスタンスを作成します。

Azure CLI を使用して Azure IoT Hub のインスタンスを作成します。 必要に応じて、パラメーターを置き換えます。 または、Azure portal 上で Azure IoT ハブを作成することもできます。

curl -sL https://aka.ms/InstallAzureCLIDeb | sudo bash

sudo az login

sudo az account set --subscription "<name or ID of Azure Subscription>"

sudo az group create --name "<resource-group-name>" --location "<your-region>"

利用可能なリージョンについては、リージョン サポートに関する記事を参照してください。

sudo az iot hub create --name "<iothub-group-name>" --sku S1 --resource-group "<resource-group-name>"

sudo az iot hub device-identity create --hub-name "<iothub-name>" --device-id "<device-name>" --edge-enabled

Azure IoT Edge バージョン 1.0.9 をインストールする必要があります。 次の手順に従って、正しいバージョンをダウンロードします。

Ubuntu Server 18.04:

curl https://packages.microsoft.com/config/ubuntu/18.04/multiarch/prod.list > ./microsoft-prod.list

生成された一覧をコピーします。

sudo cp ./microsoft-prod.list /etc/apt/sources.list.d/

Microsoft GPG 公開キーをインストールします。

curl https://packages.microsoft.com/keys/microsoft.asc | gpg --dearmor > microsoft.gpg

sudo cp ./microsoft.gpg /etc/apt/trusted.gpg.d/

デバイスのパッケージ リストを更新します。

sudo apt-get update

1\.0.9 リリースをインストールします。

sudo apt-get install iotedge=1.1* libiothsm-std=1.1*

次に、接続文字列を使用して、ホスト コンピューターを IoT Edge デバイスとして IoT Hub インスタンスに登録します。

IoT Edge デバイスを Azure IoT ハブに接続する必要があります。 先ほど作成した IoT Edge デバイスから接続文字列をコピーする必要があります。 または、Azure CLI で以下のコマンドを実行することもできます。

sudo az iot hub device-identity connection-string show --device-id my-edge-device --hub-name test-iot-hub-123

ホスト コンピューター上で /etc/iotedge/config.yaml を編集するために開きます。 ADD DEVICE CONNECTION STRING HERE を接続文字列に置き換えます。 ファイルを保存して閉じます。 次のコマンドを実行して、ホスト コンピューター上の IoT Edge サービスを再起動します。

sudo systemctl restart iotedge

Azure portal または Azure CLI のいずれかから、空間分析コンテナーを IoT モジュールとしてホスト コンピューターにデプロイします。 ポータルを使用している場合は、イメージの URI を Azure Container Registry の場所に設定します。

Azure CLI を使用して、以下の手順に従ってコンテナーをデプロイします。

GPU 搭載の Azure 仮想マシンを使用して、空間分析を実行することもできます。 次の例では、1 つの v100 GPU が搭載された NCv3 シリーズ VM を使用します。

VM を作成する

Azure portal で、[仮想マシンの作成] ウィザードを開きます。

VM に名前を付け、リージョンに [(米国) 米国西部 2] を選択します。

VM のサイズを特定するには、[すべてのサイズを表示] を選択し、次に示すように [N シリーズ] の一覧を表示して、[NC6s_v3] を選択します。

次に、VM を作成します。 作成したら、Azure portal で VM リソースに移動し、左側のペインから Extensions を選択します。 [追加] を選択して、使用可能なすべての拡張機能を含む、拡張機能ウィンドウを表示します。 NVIDIA GPU Driver Extension を検索して選択し、[作成] を選んで、ウィザードを完了します。

拡張機能が正常に適用されたら、Azure portal の VM メイン ページに移動し、Connect を選択します。 VM には、SSH または RDP のいずれかを介してアクセスできます。 ビジュアライザー ウィンドウ (後で説明します) の表示が有効になるため、RDP が役に立ちます。 こちらの手順に従い、VM へのリモート デスクトップ接続を開いて、RDP アクセスを構成します。

グラフィック ドライバーがインストールされていることを確認する

次のコマンドを実行して、グラフィック ドライバーが正常にインストールされていることを確認します。

nvidia-smi

次の出力が表示されます。

Docker CE と nvidia-docker2 を VM にインストールする

次のコマンドを一度に 1 つずつ実行して、Docker CE と nvidia-docker2 を VM にインストールします。

ホスト コンピューターに Docker CE をインストールします。

sudo apt-get update

sudo apt-get install -y apt-transport-https ca-certificates curl gnupg-agent software-properties-common

curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -

sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"

sudo apt-get update

sudo apt-get install -y docker-ce docker-ce-cli containerd.io

nvidia-docker-2 ソフトウェア パッケージをインストールします。

DISTRIBUTION=$(. /etc/os-release;echo $ID$VERSION_ID)

curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -

curl -s -L https://nvidia.github.io/nvidia-docker/$DISTRIBUTION/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list

sudo apt-get update

sudo apt-get install -y docker-ce nvidia-docker2

sudo systemctl restart docker

VM の設定と構成が完了したので、下の手順に従って Azure IoT Edge を構成します。

VM 上で Azure IoT Edge を構成する

VM に空間分析コンテナーをデプロイするには、Standard (S1) または Free (F0) 価格レベルを使用して、Azure IoT Hub サービスのインスタンスを作成します。

Azure CLI を使用して Azure IoT Hub のインスタンスを作成します。 必要に応じて、パラメーターを置き換えます。 または、Azure portal 上で Azure IoT ハブを作成することもできます。

curl -sL https://aka.ms/InstallAzureCLIDeb | sudo bash

sudo az login

sudo az account set --subscription "<name or ID of Azure Subscription>"

sudo az group create --name "<resource-group-name>" --location "<your-region>"

利用可能なリージョンについては、リージョン サポートに関する記事を参照してください。

sudo az iot hub create --name "<iothub-name>" --sku S1 --resource-group "<resource-group-name>"

sudo az iot hub device-identity create --hub-name "<iothub-name>" --device-id "<device-name>" --edge-enabled

Azure IoT Edge バージョン 1.0.9 をインストールする必要があります。 次の手順に従って、正しいバージョンをダウンロードします。

Ubuntu Server 18.04:

curl https://packages.microsoft.com/config/ubuntu/18.04/multiarch/prod.list > ./microsoft-prod.list

生成された一覧をコピーします。

sudo cp ./microsoft-prod.list /etc/apt/sources.list.d/

Microsoft GPG 公開キーをインストールします。

curl https://packages.microsoft.com/keys/microsoft.asc | gpg --dearmor > microsoft.gpg

sudo cp ./microsoft.gpg /etc/apt/trusted.gpg.d/

デバイスのパッケージ リストを更新します。

sudo apt-get update

1\.0.9 リリースをインストールします。

sudo apt-get install iotedge=1.1* libiothsm-std=1.1*

次に、接続文字列を使用して、VM を IoT Edge デバイスとして IoT Hub インスタンスに登録します。

IoT Edge デバイスを Azure IoT ハブに接続する必要があります。 先ほど作成した IoT Edge デバイスから接続文字列をコピーする必要があります。 または、Azure CLI で以下のコマンドを実行することもできます。

sudo az iot hub device-identity connection-string show --device-id my-edge-device --hub-name test-iot-hub-123

VM で /etc/iotedge/config.yaml を編集するために開きます。 ADD DEVICE CONNECTION STRING HERE を接続文字列に置き換えます。 ファイルを保存して閉じます。 このコマンドを実行して、VM 上の IoT Edge サービスを再起動します。

sudo systemctl restart iotedge

Azure portal または Azure CLI のいずれかから、空間分析コンテナーを IoT モジュールとして VM にデプロイします。 ポータルを使用している場合は、イメージの URI を Azure Container Registry の場所に設定します。

Azure CLI を使用して、以下の手順に従ってコンテナーをデプロイします。