Compartilhar via

az ml datastore

  • Referência

Nota

Essa referência faz parte da extensão ml para a CLI do Azure (versão 2.15.0 ou superior). A extensão instalará automaticamente na primeira vez que você executar um comando az ml datastore. Saiba mais sobre extensões.

Gerenciar armazenamentos de dados do Azure ML.

Os armazenamentos de dados do Azure ML vinculam com segurança seus serviços de armazenamento do Azure ao workspace para que você possa acessar seu armazenamento sem precisar codificar as informações de conexão em seus scripts. Os segredos de conexão, como as credenciais de autenticação do serviço de armazenamento, são armazenados no Key Vault do seu workspace.

Quando você cria um workspace, uma conta de Armazenamento do Azure é criada automaticamente como um recurso associado. Um contêiner de blob é criado nessa conta e suas informações de conexão são armazenadas como um armazenamento de dados chamado 'workspaceblobstore'. Isso serve como armazenamento de dados padrão do workspace e o contêiner de blob é usado para armazenar seus artefatos de workspace e logs e saídas de trabalho de machine learning.

Comandos

Nome Description Tipo Status
az ml datastore create

Crie um armazenamento de dados.

 Extensão GA
az ml datastore delete

Excluir um armazenamento de dados.

 Extensão GA
az ml datastore list

Listar armazenamentos de dados em um workspace.

 Extensão GA
az ml datastore mount

Monte um armazenamento de dados específico em um caminho local. Por enquanto, há suporte apenas para Linux.

 Extensão Visualizar
az ml datastore show

Mostrar detalhes de um armazenamento de dados.

 Extensão GA
az ml datastore update

Atualize um armazenamento de dados.

 Extensão GA

az ml datastore create

Crie um armazenamento de dados.

Isso conecta o serviço de armazenamento subjacente do Azure ao workspace. Os tipos de serviço de armazenamento que atualmente podem ser conectados criando um armazenamento de dados incluem o Armazenamento de Blobs do Azure, o Compartilhamento de Arquivos do Azure, o Azure Data Lake Storage Gen1 e o Azure Data Lake Storage Gen2.

az ml datastore create --file
                       --resource-group
                       --workspace-name
                       [--name]
                       [--set]

Exemplos

Criar um armazenamento de dados com base em um arquivo de especificação YAML

az ml datastore create --file blobstore.yml --resource-group my-resource-group --workspace-name my-workspace

Parâmetros Exigidos

--file -f

Caminho local para o arquivo YAML que contém a especificação do armazenamento de dados do Azure ML. Os documentos de referência yaml para armazenamento de dados podem ser encontrados em: https://aka.ms/ml-cli-v2-datastore-blob-yaml-reference, https://aka.ms/ml-cli-v2-datastore-file-yaml-reference, https://aka.ms/ml-cli-v2-datastore-data-lake-gen1-yaml-reference, https://aka.ms/ml-cli-v2-datastore-data-lake-gen2-yaml-reference.

--resource-group -g

Nome do grupo de recursos. Você pode configurar o grupo padrão usando az configure --defaults group=<name>.

--workspace-name -w

Nome do workspace do Azure ML. Você pode configurar o workspace padrão usando az configure --defaults workspace=<name>.

Parâmetros Opcionais

--name -n

Nome do armazenamento de dados. Isso substitui o campo 'name' no arquivo YAML fornecido para --file/-f.

--set

Atualize um objeto especificando um caminho de propriedade e um valor a ser definido. Exemplo: --set property1.property2=value.

Parâmetros Globais
--debug

Aumente a verbosidade de log para mostrar todos os logs de depuração.

--help -h

Mostre esta mensagem de ajuda e saia.

--only-show-errors

Apenas mostrar erros, suprimindo avisos.

--output -o

Formato de saída.

Valores aceitos: json, jsonc, none, table, tsv, yaml, yamlc
Valor padrão: json
--query

Cadeia de caracteres de consulta JMESPath. Consulte http://jmespath.org/ para obter mais informações e exemplos.

--subscription

Nome ou ID da assinatura. Você pode configurar a assinatura padrão usando az account set -s NAME_OR_ID.

--verbose

Aumentar a verbosidade do registro em log. Use --debug para logs de depuração completos.

az ml datastore delete

Excluir um armazenamento de dados.

Isso exclui as informações de conexão com o serviço de armazenamento do workspace, mas não exclui os dados subjacentes no armazenamento.

az ml datastore delete --name
                       --resource-group
                       --workspace-name

Parâmetros Exigidos

--name -n

Nome do armazenamento de dados.

--resource-group -g

Nome do grupo de recursos. Você pode configurar o grupo padrão usando az configure --defaults group=<name>.

--workspace-name -w

Nome do workspace do Azure ML. Você pode configurar o workspace padrão usando az configure --defaults workspace=<name>.

Parâmetros Globais
--debug

Aumente a verbosidade de log para mostrar todos os logs de depuração.

--help -h

Mostre esta mensagem de ajuda e saia.

--only-show-errors

Apenas mostrar erros, suprimindo avisos.

--output -o

Formato de saída.

Valores aceitos: json, jsonc, none, table, tsv, yaml, yamlc
Valor padrão: json
--query

Cadeia de caracteres de consulta JMESPath. Consulte http://jmespath.org/ para obter mais informações e exemplos.

--subscription

Nome ou ID da assinatura. Você pode configurar a assinatura padrão usando az account set -s NAME_OR_ID.

--verbose

Aumentar a verbosidade do registro em log. Use --debug para logs de depuração completos.

az ml datastore list

Listar armazenamentos de dados em um workspace.

az ml datastore list --resource-group
                     --workspace-name
                     [--max-results]

Exemplos

Liste todos os armazenamentos de dados em um workspace usando o argumento --query para executar uma consulta JMESPath nos resultados dos comandos.

az ml datastore list --query "[].{Name:name}"  --output table --resource-group my-resource-group --workspace-name my-workspace

Parâmetros Exigidos

--resource-group -g

Nome do grupo de recursos. Você pode configurar o grupo padrão usando az configure --defaults group=<name>.

--workspace-name -w

Nome do workspace do Azure ML. Você pode configurar o workspace padrão usando az configure --defaults workspace=<name>.

Parâmetros Opcionais

--max-results -r

Número máximo de resultados a serem retornados.

Parâmetros Globais
--debug

Aumente a verbosidade de log para mostrar todos os logs de depuração.

--help -h

Mostre esta mensagem de ajuda e saia.

--only-show-errors

Apenas mostrar erros, suprimindo avisos.

--output -o

Formato de saída.

Valores aceitos: json, jsonc, none, table, tsv, yaml, yamlc
Valor padrão: json
--query

Cadeia de caracteres de consulta JMESPath. Consulte http://jmespath.org/ para obter mais informações e exemplos.

--subscription

Nome ou ID da assinatura. Você pode configurar a assinatura padrão usando az account set -s NAME_OR_ID.

--verbose

Aumentar a verbosidade do registro em log. Use --debug para logs de depuração completos.

az ml datastore mount

Versão Prévia

Esse comando está em versão prévia e em desenvolvimento. Níveis de referência e suporte: https://aka.ms/CLI_refstatus

Monte um armazenamento de dados específico em um caminho local. Por enquanto, há suporte apenas para Linux.

az ml datastore mount --path
                      [--mode]
                      [--mount-point]
                      [--persistent]
                      [--resource-group]
                      [--workspace-name]

Exemplos

Montar um armazenamento de dados pelo nome

az ml datastore mount --mount-point /mnt/my-datastore --mode ro_mount --path my-datastore

Montar um armazenamento de dados por URL de forma curta do armazenamento de dados

az ml datastore mount --mount-point /mnt/my-datastore --mode ro_mount --path azureml://datastores/my-datastore

Montar um armazenamento de dados por URL de forma longa do armazenamento de dados

az ml datastore mount --mount-point /mnt/my-datastore --mode ro_mount --path azureml://subscriptions/my-sub-id/resourcegroups/my-rg/providers/Microsoft.MachineLearningServices/workspaces/myworkspace/datastores/my-datastore

Parâmetros Exigidos

--path

O caminho do armazenamento de dados a ser montado, na forma de <datastore_name> ou azureml://datastores/<datastore_name>.

Parâmetros Opcionais

--mode

Modo de montagem, ro_mount (somente leitura) ou rw_mount (leitura/gravação).

Valor padrão: ro_mount
--mount-point

Um caminho local usado como ponto de montagem.

Valor padrão: /home/azureuser/mount/data
--persistent

Faça com que a montagem persista entre reinicializações. Com suporte apenas na Instância de Computação.

Valor padrão: False
--resource-group -g

Nome do grupo de recursos. Você pode configurar o grupo padrão usando az configure --defaults group=<name>.

--workspace-name -w

Nome do workspace do Azure ML. Você pode configurar o workspace padrão usando az configure --defaults workspace=<name>.

Parâmetros Globais
--debug

Aumente a verbosidade de log para mostrar todos os logs de depuração.

--help -h

Mostre esta mensagem de ajuda e saia.

--only-show-errors

Apenas mostrar erros, suprimindo avisos.

--output -o

Formato de saída.

Valores aceitos: json, jsonc, none, table, tsv, yaml, yamlc
Valor padrão: json
--query

Cadeia de caracteres de consulta JMESPath. Consulte http://jmespath.org/ para obter mais informações e exemplos.

--subscription

Nome ou ID da assinatura. Você pode configurar a assinatura padrão usando az account set -s NAME_OR_ID.

--verbose

Aumentar a verbosidade do registro em log. Use --debug para logs de depuração completos.

az ml datastore show

Mostrar detalhes de um armazenamento de dados.

az ml datastore show --name
                     --resource-group
                     --workspace-name

Parâmetros Exigidos

--name -n

Nome do armazenamento de dados.

--resource-group -g

Nome do grupo de recursos. Você pode configurar o grupo padrão usando az configure --defaults group=<name>.

--workspace-name -w

Nome do workspace do Azure ML. Você pode configurar o workspace padrão usando az configure --defaults workspace=<name>.

Parâmetros Globais
--debug

Aumente a verbosidade de log para mostrar todos os logs de depuração.

--help -h

Mostre esta mensagem de ajuda e saia.

--only-show-errors

Apenas mostrar erros, suprimindo avisos.

--output -o

Formato de saída.

Valores aceitos: json, jsonc, none, table, tsv, yaml, yamlc
Valor padrão: json
--query

Cadeia de caracteres de consulta JMESPath. Consulte http://jmespath.org/ para obter mais informações e exemplos.

--subscription

Nome ou ID da assinatura. Você pode configurar a assinatura padrão usando az account set -s NAME_OR_ID.

--verbose

Aumentar a verbosidade do registro em log. Use --debug para logs de depuração completos.

az ml datastore update

Atualize um armazenamento de dados.

As propriedades 'description', 'tags' e 'credential' podem ser atualizadas.

az ml datastore update --resource-group
                       --workspace-name
                       [--add]
                       [--file]
                       [--force-string]
                       [--name]
                       [--remove]
                       [--set]

Parâmetros Exigidos

--resource-group -g

Nome do grupo de recursos. Você pode configurar o grupo padrão usando az configure --defaults group=<name>.

--workspace-name -w

Nome do workspace do Azure ML. Você pode configurar o workspace padrão usando az configure --defaults workspace=<name>.

Parâmetros Opcionais

--add

Adicione um objeto a uma lista de objetos especificando um caminho e pares de valor de chave. Exemplo: --add property.listProperty <key=value, string or JSON string>.

Valor padrão: []
--file -f

Caminho local para o arquivo YAML que contém a especificação do armazenamento de dados do Azure ML. Os documentos de referência yaml para armazenamento de dados podem ser encontrados em: https://aka.ms/ml-cli-v2-datastore-blob-yaml-reference, https://aka.ms/ml-cli-v2-datastore-file-yaml-reference, https://aka.ms/ml-cli-v2-datastore-data-lake-gen1-yaml-reference, https://aka.ms/ml-cli-v2-datastore-data-lake-gen2-yaml-reference.

--force-string

Ao usar 'set' ou 'add', preserve literais de cadeia de caracteres em vez de tentar converter em JSON.

Valor padrão: False
--name -n

Nome do armazenamento de dados. Isso substitui o campo 'name' no arquivo YAML fornecido para --file/-f.

--remove

Remova uma propriedade ou um elemento de uma lista. Exemplo: --remove property.list <indexToRemove> OR --remove propertyToRemove.

Valor padrão: []
--set

Atualize um objeto especificando um caminho de propriedade e um valor a ser definido. Exemplo: --set property1.property2=<value>.

Valor padrão: []
Parâmetros Globais
--debug

Aumente a verbosidade de log para mostrar todos os logs de depuração.

--help -h

Mostre esta mensagem de ajuda e saia.

--only-show-errors

Apenas mostrar erros, suprimindo avisos.

--output -o

Formato de saída.

Valores aceitos: json, jsonc, none, table, tsv, yaml, yamlc
Valor padrão: json
--query

Cadeia de caracteres de consulta JMESPath. Consulte http://jmespath.org/ para obter mais informações e exemplos.

--subscription

Nome ou ID da assinatura. Você pode configurar a assinatura padrão usando az account set -s NAME_OR_ID.

--verbose

Aumentar a verbosidade do registro em log. Use --debug para logs de depuração completos.