az ml data
Note
このリファレンスは、Azure CLI (バージョン 2.15.0 以降) の ml 拡張機能の一部です。 拡張機能は、az ml data コマンドを初めて実行するときに自動的にインストールされます。 拡張機能の詳細をご覧ください。
Azure ML データ資産を管理します。
Azure ML データ資産は、ストレージ サービスまたはパブリック URL 内のファイルと、対応するメタデータへの参照です。 これらはデータのコピーではありません。 これらのデータ資産を使用して、モデルのトレーニング中に関連するデータにアクセスし、参照されるデータをコンピューティング ターゲットにマウントまたはダウンロードできます。
コマンド
名前 | 説明 | 型 | 状態 |
---|---|---|---|
az ml data archive |
データ資産をアーカイブします。 |
拡張子 | GA |
az ml data create |
ワークスペース/レジストリにデータ資産を作成します。 レジストリを使用している場合は、オプションに |
拡張子 | GA |
az ml data import |
データをインポートし、データ資産を作成します。 |
拡張子 | プレビュー |
az ml data list |
ワークスペース/レジストリ内のデータ資産を一覧表示します。 レジストリを使用している場合は、オプションに |
拡張子 | GA |
az ml data list-materialization-status |
データ資産のバージョンを作成するデータ インポート具体化ジョブの一覧の状態を表示します。 |
拡張子 | プレビュー |
az ml data mount |
特定のデータ資産をローカル パスにマウントします。 現時点では、Linux のみがサポートされています。 |
拡張子 | プレビュー |
az ml data restore |
アーカイブされたデータ資産を復元します。 |
拡張子 | GA |
az ml data share |
ワークスペースからレジストリに特定のデータ資産を共有します。 |
拡張子 | プレビュー |
az ml data show |
ワークスペース/レジストリ内のデータ資産の詳細を表示します。 レジストリを使用している場合は、オプションに |
拡張子 | GA |
az ml data update |
データ資産を更新します。 |
拡張子 | GA |
az ml data archive
データ資産をアーカイブします。
データ資産をアーカイブすると、既定ではリスト クエリ (az ml data list
) から非表示になります。 アーカイブされたデータ資産は、引き続きワークフローから参照し、使用することができます。 データ資産コンテナーまたは特定のデータ資産バージョンをアーカイブできます。 データ資産コンテナーをアーカイブすると、その名前でデータ資産のすべてのバージョンがアーカイブされます。 アーカイブされたデータ資産は、次を使用して az ml data restore
復元できます。 データ資産コンテナー全体がアーカイブされている場合、データ資産の個々のバージョンを復元することはできません。データ資産コンテナーを復元する必要があります。
az ml data archive --name
[--label]
[--resource-group]
[--version]
[--workspace-name]
例
データ資産コンテナーをアーカイブする (そのデータ資産のすべてのバージョンをアーカイブする)
az ml data archive --name my-env --resource-group my-resource-group --workspace-name my-workspace
特定のバージョンのデータ資産をアーカイブする
az ml data archive --name my-env --version 1 --resource-group my-resource-group --workspace-name my-workspace
必須のパラメーター
データ資産の名前。
省略可能のパラメーター
データ資産のラベル。 バージョンと相互に排他的です。
リソース グループの名前。 az configure --defaults group=<name>
を使用して、既定のグループを構成できます。
データ資産のバージョン。 ラベルと相互に排他的です。
Azure ML ワークスペースの名前。 を使用して、既定のワークスペースを az configure --defaults workspace=<name>
構成できます。
グローバル パラメーター
すべてのデバッグ ログを表示するようにログの詳細レベルを上げます。
このヘルプ メッセージを表示して終了します。
エラーのみを表示し、警告は抑制します。
出力形式。
JMESPath クエリ文字列。 詳細と例については、http://jmespath.org/ をご覧ください。
サブスクリプションの名前または ID。 az account set -s NAME_OR_ID
を使用して、既定のサブスクリプションを構成できます。
ログの詳細レベルを上げます。 詳細なデバッグ ログを表示するには --debug を使います。
az ml data create
ワークスペース/レジストリにデータ資産を作成します。 レジストリを使用している場合は、オプションに--registry-name <registry-name>
置き換えます--workspace-name my-workspace
。
データ資産は、ローカル コンピューター上のファイルから、またはクラウド ストレージ内のファイルへの参照として定義できます。 作成されたデータ資産は、指定された名前とバージョンでワークスペース/レジストリで追跡されます。
ローカル コンピューター上のファイルからデータ資産を作成するには、YAML 構成で "path" フィールドを指定します。Azure ML は、ワークスペースの既定のデータストア ("workspaceblobstore" という名前) をバックアップする BLOB コンテナーにこれらのファイルをアップロードします。 作成されたデータ資産は、そのアップロードされたデータを指します。
クラウド ストレージ内のファイルを参照するデータ資産を作成するには、YAML 構成のストレージ内のファイルへの "パス" を指定します。
ストレージ URL またはパブリック URL から直接データ資産を作成することもできます。 これを行うには、YAML 構成の 'path' フィールドの URL を指定します。レジストリを使用している場合は、オプションに--registry-name <my-registry-name>
置き換えます--workspace-name my-workspace
。
az ml data create [--datastore]
[--description]
[--file]
[--name]
[--no-wait]
[--path]
[--registry-name]
[--resource-group]
[--set]
[--skip-validation]
[--type {mltable, uri_file, uri_folder}]
[--version]
[--workspace-name]
例
ワークスペース内の YAML 仕様ファイルからデータ資産を作成する
az ml data create --file data.yml --resource-group my-resource-group --workspace-name my-workspace
レジストリ内の YAML 仕様ファイルからデータ資産を作成する
az ml data create --file data.yml --registry-name my-registry-name
ワークスペースで YAML 仕様ファイルを使用せずにデータ資産を作成する
az ml data create --name my-data --version 1 --path ./my-data.csv --resource-group my-resource-group --workspace-name my-workspace
レジストリで YAML 仕様ファイルを使用せずにデータ資産を作成する
az ml data create --name my-data --version 1 --path ./my-data.csv --registry-name my-registry-name
省略可能のパラメーター
ローカル成果物をアップロードするデータストア。
データ資産の説明。
Azure ML データ仕様を含む YAML ファイルへのローカル パス。 データの YAML リファレンス ドキュメントは次 https://aka.ms/ml-cli-v2-data-yaml-referenceの場所にあります。
データ資産の名前。 --registry-name が指定されている場合は必須。
実行時間の長い操作が完了するまで待つ必要はありません。 既定値は False です。
データ資産へのパスは、ローカルまたはリモートにすることができます。
指定した場合、コマンドはワークスペースではなくレジストリを対象とします。 そのため、リソース グループとワークスペースは必要ありません。 --workspace-name と --resource-group が指定されていない場合は、指定する必要があります。
リソース グループの名前。 az configure --defaults group=<name>
を使用して、既定のグループを構成できます。
設定するプロパティ パスと値を指定して、オブジェクトを更新します。 例: --set property1.property2=。
型が MLTable の場合、MLTable メタデータの検証をスキップします。
データ資産の種類。
データ資産のバージョン。 --registry-name が指定されている場合は必須。
Azure ML ワークスペースの名前。 を使用して、既定のワークスペースを az configure --defaults workspace=<name>
構成できます。
グローバル パラメーター
すべてのデバッグ ログを表示するようにログの詳細レベルを上げます。
このヘルプ メッセージを表示して終了します。
エラーのみを表示し、警告は抑制します。
出力形式。
JMESPath クエリ文字列。 詳細と例については、http://jmespath.org/ をご覧ください。
サブスクリプションの名前または ID。 az account set -s NAME_OR_ID
を使用して、既定のサブスクリプションを構成できます。
ログの詳細レベルを上げます。 詳細なデバッグ ログを表示するには --debug を使います。
az ml data import
このコマンドはプレビュー段階であり、開発中です。 参照レベルとサポート レベル: https://aka.ms/CLI_refstatus
データをインポートし、データ資産を作成します。
データ資産は、最初にデータベースまたはファイルシステムからクラウド ストレージにデータをインポートすることによって作成できます。 作成されたデータ資産は、指定された名前とバージョンでワークスペースで追跡されます。
YAML 構成のファイルシステム フィールドにデータベース テーブルの 'query' または 'path' を指定します。Azure ML は、最初にクラウド ストレージにデータをコピーするジョブを実行します。
az ml data import --resource-group
--workspace-name
[--datastore]
[--description]
[--file]
[--name]
[--path]
[--set]
[--skip-validation]
[--type {mltable, uri_file, uri_folder}]
[--version]
例
YAML 仕様ファイルからデータ資産をインポートする
az ml data import --file dataimport.yml --resource-group my-resource-group --workspace-name my-workspace
必須のパラメーター
リソース グループの名前。 az configure --defaults group=<name>
を使用して、既定のグループを構成できます。
Azure ML ワークスペースの名前。 を使用して、既定のワークスペースを az configure --defaults workspace=<name>
構成できます。
省略可能のパラメーター
ローカル成果物をアップロードするデータストア。
データ資産の説明。
Azure ML データ仕様を含む YAML ファイルへのローカル パス。 データの YAML リファレンス ドキュメントは次 https://aka.ms/ml-cli-v2-data-yaml-referenceの場所にあります。
データ資産の名前。
クラウド ストレージ上のデータ資産へのパス。
設定するプロパティ パスと値を指定して、オブジェクトを更新します。 例: --set property1.property2=。
基になるデータ インポート具体化ジョブによって参照されるコンピューティング リソースの検証をスキップします。
データ資産の種類。
データ資産のバージョン。
グローバル パラメーター
すべてのデバッグ ログを表示するようにログの詳細レベルを上げます。
このヘルプ メッセージを表示して終了します。
エラーのみを表示し、警告は抑制します。
出力形式。
JMESPath クエリ文字列。 詳細と例については、http://jmespath.org/ をご覧ください。
サブスクリプションの名前または ID。 az account set -s NAME_OR_ID
を使用して、既定のサブスクリプションを構成できます。
ログの詳細レベルを上げます。 詳細なデバッグ ログを表示するには --debug を使います。
az ml data list
ワークスペース/レジストリ内のデータ資産を一覧表示します。 レジストリを使用している場合は、オプションに--registry-name <registry-name>
置き換えます--workspace-name my-workspace
。
az ml data list [--archived-only]
[--include-archived]
[--max-results]
[--name]
[--registry-name]
[--resource-group]
[--workspace-name]
例
ワークスペース内のすべてのデータ資産を一覧表示する
az ml data list --resource-group my-resource-group --workspace-name my-workspace
ワークスペース内の指定した名前のすべてのデータ資産バージョンを一覧表示する
az ml data list --name my-data --resource-group my-resource-group --workspace-name my-workspace
--query 引数を使用してワークスペース内のすべてのデータ資産を一覧表示し、コマンドの結果に対して JMESPath クエリを実行します。
az ml data list --query "[].{Name:name}" --output table --resource-group my-resource-group --workspace-name my-workspace
レジストリ内のすべてのデータ資産を一覧表示する
az ml data list --registry-name my-registry-name
レジストリ内の指定した名前のすべてのデータ資産バージョンを一覧表示する
az ml data list --name my-data --registry-name my-registry-name
省略可能のパラメーター
アーカイブされたデータ資産のみを一覧表示します。
アーカイブされたデータ資産とアクティブなデータ資産を一覧表示します。
返される結果の最大数。
データ資産の名前。 指定した場合、この名前のすべてのデータ バージョンが返されます。
指定した場合、コマンドはワークスペースではなくレジストリを対象とします。 そのため、リソース グループとワークスペースは必要ありません。 --workspace-name と --resource-group が指定されていない場合は、指定する必要があります。
リソース グループの名前。 az configure --defaults group=<name>
を使用して、既定のグループを構成できます。
Azure ML ワークスペースの名前。 を使用して、既定のワークスペースを az configure --defaults workspace=<name>
構成できます。
グローバル パラメーター
すべてのデバッグ ログを表示するようにログの詳細レベルを上げます。
このヘルプ メッセージを表示して終了します。
エラーのみを表示し、警告は抑制します。
出力形式。
JMESPath クエリ文字列。 詳細と例については、http://jmespath.org/ をご覧ください。
サブスクリプションの名前または ID。 az account set -s NAME_OR_ID
を使用して、既定のサブスクリプションを構成できます。
ログの詳細レベルを上げます。 詳細なデバッグ ログを表示するには --debug を使います。
az ml data list-materialization-status
このコマンドはプレビュー段階であり、開発中です。 参照レベルとサポート レベル: https://aka.ms/CLI_refstatus
データ資産のバージョンを作成するデータ インポート具体化ジョブの一覧の状態を表示します。
az ml data list-materialization-status --resource-group
--workspace-name
[--all-results {false, true}]
[--archived-only]
[--include-archived]
[--max-results]
[--name]
例
YAML 仕様ファイルからのデータ資産の具体化状態を表示する
az ml data list-materialization-status --name asset-name --resource-group my-resource-group --workspace-name my-workspace
必須のパラメーター
リソース グループの名前。 az configure --defaults group=<name>
を使用して、既定のグループを構成できます。
Azure ML ワークスペースの名前。 を使用して、既定のワークスペースを az configure --defaults workspace=<name>
構成できます。
省略可能のパラメーター
すべての結果を返します。
アーカイブされたジョブのみを一覧表示します。
アーカイブされたジョブとアクティブなジョブを一覧表示します。
返される結果の最大数。 既定値は 50 です。
資産の名前。 指定された名前に一致する資産のバージョンを作成するすべての具体化ジョブを一覧表示します。
グローバル パラメーター
すべてのデバッグ ログを表示するようにログの詳細レベルを上げます。
このヘルプ メッセージを表示して終了します。
エラーのみを表示し、警告は抑制します。
出力形式。
JMESPath クエリ文字列。 詳細と例については、http://jmespath.org/ をご覧ください。
サブスクリプションの名前または ID。 az account set -s NAME_OR_ID
を使用して、既定のサブスクリプションを構成できます。
ログの詳細レベルを上げます。 詳細なデバッグ ログを表示するには --debug を使います。
az ml data mount
このコマンドはプレビュー段階であり、開発中です。 参照レベルとサポート レベル: https://aka.ms/CLI_refstatus
特定のデータ資産をローカル パスにマウントします。 現時点では、Linux のみがサポートされています。
az ml data mount --path
[--mode]
[--mount-point]
[--persistent]
[--resource-group]
[--workspace-name]
例
名前付き資産 URI を使用してデータ資産バージョンをマウントする
az ml data mount --mount-point /mnt/my-data --mode ro_mount --path azureml:my_urifolder:1
AzureML の完全な URI を使用してデータ資産バージョンをマウントする
az ml data mount --mount-point /mnt/my-data --mode ro_mount --path azureml://subscriptions/my-sub-id/resourcegroups/my-rg/workspaces/myworkspace/data/some_data/versions/5
名前付き資産 URI を使用してデータ資産のすべてのバージョンをマウントする
az ml data mount --mount-point /mnt/my-data --mode ro_mount --path azureml:my_urifolder
AzureML フル URI を使用してデータ資産のすべてのバージョンをマウントする
az ml data mount --mount-point /mnt/my-data --mode ro_mount --path azureml://subscriptions/my-sub-id/resourcegroups/my-rg/workspaces/myworkspace/data/some_data
URL を使用してパブリック HTTP サーバーにデータをマウントする
az ml data mount --mount-point /mnt/my-data --mode ro_mount --path https://raw.githubusercontent.com/pandas-dev/pandas/main/doc/data/titanic.csv
Azure Blob Storage URL を使用して Azure にデータをマウントする
az ml data mount --mount-point /mnt/my-data --mode ro_mount --path https://<account_name>.blob.core.windows.net/<container_name>/<path>
Azure Data Lake Storage Gen 2 URL によって Azure にデータをマウントする
az ml data mount --mount-point /mnt/my-data --mode ro_mount --path abfss://<file_system>@<account_name>.dfs.core.windows.net/<path>
必須のパラメーター
マウントするデータ資産のパス 。次の azureml:<name>
形式または形式で指定します azureml:<name>:<version>
。
省略可能のパラメーター
マウント モード。 データ資産のマウントでは、(読み取り専用) のみが ro_mount
サポートされています。
マウント ポイントとして使用されるローカル パス。
再起動後もマウントを保持します。 コンピューティング インスタンスでのみサポートされます。
リソース グループの名前。 az configure --defaults group=<name>
を使用して、既定のグループを構成できます。
Azure ML ワークスペースの名前。 を使用して、既定のワークスペースを az configure --defaults workspace=<name>
構成できます。
グローバル パラメーター
すべてのデバッグ ログを表示するようにログの詳細レベルを上げます。
このヘルプ メッセージを表示して終了します。
エラーのみを表示し、警告は抑制します。
出力形式。
JMESPath クエリ文字列。 詳細と例については、http://jmespath.org/ をご覧ください。
サブスクリプションの名前または ID。 az account set -s NAME_OR_ID
を使用して、既定のサブスクリプションを構成できます。
ログの詳細レベルを上げます。 詳細なデバッグ ログを表示するには --debug を使います。
az ml data restore
アーカイブされたデータ資産を復元します。
アーカイブされたデータ資産が復元されると、リスト クエリ (az ml data list
) では非表示ではなくなります。 データ資産コンテナー全体がアーカイブされている場合は、そのアーカイブされたコンテナーを復元できます。 これにより、指定された名前のデータ資産のすべてのバージョンが復元されます。 データ資産コンテナー全体がアーカイブされている場合、特定のデータ資産バージョンのみを復元することはできません。コンテナー全体を復元する必要があります。 個々のデータ資産バージョンのみがアーカイブされた場合は、その特定のバージョンを復元できます。
az ml data restore --name
[--label]
[--resource-group]
[--version]
[--workspace-name]
例
アーカイブされたデータ資産コンテナーを復元する (そのデータ資産のすべてのバージョンを復元します)
az ml data restore --name my-env --resource-group my-resource-group --workspace-name my-workspace
アーカイブされた特定のデータ資産バージョンを復元する
az ml data restore --name my-env --version 1 --resource-group my-resource-group --workspace-name my-workspace
必須のパラメーター
データ資産の名前。
省略可能のパラメーター
データ資産のラベル。 バージョンと相互に排他的です。
リソース グループの名前。 az configure --defaults group=<name>
を使用して、既定のグループを構成できます。
データ資産のバージョン。 ラベルと相互に排他的です。
Azure ML ワークスペースの名前。 を使用して、既定のワークスペースを az configure --defaults workspace=<name>
構成できます。
グローバル パラメーター
すべてのデバッグ ログを表示するようにログの詳細レベルを上げます。
このヘルプ メッセージを表示して終了します。
エラーのみを表示し、警告は抑制します。
出力形式。
JMESPath クエリ文字列。 詳細と例については、http://jmespath.org/ をご覧ください。
サブスクリプションの名前または ID。 az account set -s NAME_OR_ID
を使用して、既定のサブスクリプションを構成できます。
ログの詳細レベルを上げます。 詳細なデバッグ ログを表示するには --debug を使います。
az ml data share
このコマンドはプレビュー段階であり、開発中です。 参照レベルとサポート レベル: https://aka.ms/CLI_refstatus
ワークスペースからレジストリに特定のデータ資産を共有します。
ワークスペース間で再利用するために、ワークスペースからレジストリに既存のデータ資産をコピーします。
az ml data share --name
--registry-name
--resource-group
--share-with-name
--share-with-version
--version
--workspace-name
例
ワークスペースからレジストリに既存のデータ資産を共有する
az ml data share --name my-data --version my-version --resource-group my-resource-group --workspace-name my-workspace --share-with-name new-name-in-registry --share-with-version new-version-in-registry --registry-name my-registry
必須のパラメーター
データ資産の名前。
移行先のレジストリ。
リソース グループの名前。 az configure --defaults group=<name>
を使用して、既定のグループを構成できます。
作成するデータ資産の名前。
作成するデータ資産のバージョン。
データ資産のバージョン。
Azure ML ワークスペースの名前。 を使用して、既定のワークスペースを az configure --defaults workspace=<name>
構成できます。
グローバル パラメーター
すべてのデバッグ ログを表示するようにログの詳細レベルを上げます。
このヘルプ メッセージを表示して終了します。
エラーのみを表示し、警告は抑制します。
出力形式。
JMESPath クエリ文字列。 詳細と例については、http://jmespath.org/ をご覧ください。
サブスクリプションの名前または ID。 az account set -s NAME_OR_ID
を使用して、既定のサブスクリプションを構成できます。
ログの詳細レベルを上げます。 詳細なデバッグ ログを表示するには --debug を使います。
az ml data show
ワークスペース/レジストリ内のデータ資産の詳細を表示します。 レジストリを使用している場合は、オプションに--registry-name <registry-name>
置き換えます--workspace-name my-workspace
。
az ml data show --name
[--label]
[--registry-name]
[--resource-group]
[--version]
[--workspace-name]
例
ワークスペース内の指定した名前とバージョンを持つデータ資産の詳細を表示する
az ml data show --name my-data --version 1 --resource-group my-resource-group --workspace-name my-workspace
指定した名前とラベルを持つデータ資産の詳細を表示する
az ml data show --name my-data --label latest --resource-group my-resource-group --workspace-name my-workspace
レジストリ内の指定した名前とバージョンを持つデータ資産の詳細を表示する
az ml data show --name my-data --version 1 --registry-name my-registry-name
必須のパラメーター
データ資産の名前。
省略可能のパラメーター
データ資産のラベル。 バージョンが指定されていない場合は、指定する必要があります。 バージョンと相互に排他的です。
指定した場合、コマンドはワークスペースではなくレジストリを対象とします。 そのため、リソース グループとワークスペースは必要ありません。 --workspace-name と --resource-group が指定されていない場合は、指定する必要があります。
リソース グループの名前。 az configure --defaults group=<name>
を使用して、既定のグループを構成できます。
データ資産のバージョン。 ラベルが指定されていない場合は、指定する必要があります。 ラベルと相互に排他的です。
Azure ML ワークスペースの名前。 を使用して、既定のワークスペースを az configure --defaults workspace=<name>
構成できます。
グローバル パラメーター
すべてのデバッグ ログを表示するようにログの詳細レベルを上げます。
このヘルプ メッセージを表示して終了します。
エラーのみを表示し、警告は抑制します。
出力形式。
JMESPath クエリ文字列。 詳細と例については、http://jmespath.org/ をご覧ください。
サブスクリプションの名前または ID。 az account set -s NAME_OR_ID
を使用して、既定のサブスクリプションを構成できます。
ログの詳細レベルを上げます。 詳細なデバッグ ログを表示するには --debug を使います。
az ml data update
データ資産を更新します。
'description' プロパティと 'tags' プロパティのみを更新できます。
az ml data update --name
--resource-group
--workspace-name
[--add]
[--force-string]
[--label]
[--registry-name]
[--remove]
[--set]
[--version]
必須のパラメーター
データ資産の名前。
リソース グループの名前。 az configure --defaults group=<name>
を使用して、既定のグループを構成できます。
Azure ML ワークスペースの名前。 を使用して、既定のワークスペースを az configure --defaults workspace=<name>
構成できます。
省略可能のパラメーター
パスとキー値のペアを指定して、オブジェクトの一覧にオブジェクトを追加します。 例: --add property.listProperty <key=value, string or JSON string>
。
'set' または 'add' を使用する場合は、JSON に変換するのではなく、文字列リテラルを保持します。
データ資産のラベル。 バージョンが指定されていない場合は、指定する必要があります。 バージョンと相互に排他的です。
指定した場合、コマンドはワークスペースではなくレジストリを対象とします。 そのため、リソース グループとワークスペースは必要ありません。 --workspace-name と --resource-group が指定されていない場合は、指定する必要があります。
リストからプロパティまたは要素を削除します。 例: --remove property.list <indexToRemove>
OR --remove propertyToRemove
.
設定するプロパティ パスと値を指定して、オブジェクトを更新します。 例: --set property1.property2=<value>
。
データ資産のバージョン。 ラベルが指定されていない場合は、指定する必要があります。 ラベルと相互に排他的です。
グローバル パラメーター
すべてのデバッグ ログを表示するようにログの詳細レベルを上げます。
このヘルプ メッセージを表示して終了します。
エラーのみを表示し、警告は抑制します。
出力形式。
JMESPath クエリ文字列。 詳細と例については、http://jmespath.org/ をご覧ください。
サブスクリプションの名前または ID。 az account set -s NAME_OR_ID
を使用して、既定のサブスクリプションを構成できます。
ログの詳細レベルを上げます。 詳細なデバッグ ログを表示するには --debug を使います。
Azure CLI