Introdução ao Azure Data Lake Storage Gen1 usando o Azure PowerShell

Saiba como usar o Azure PowerShell para criar uma conta do Azure Data Lake Storage Gen1 e executar operações básicas, como criar pastas, carregar e baixar arquivos de dados, excluir sua conta, etc. Para obter mais informações sobre o Data Lake Storage Gen1, consulte Visão geral do Data Lake Storage Gen1.

Pré-requisitos

• Uma subscrição do Azure. Veja Obter versão de avaliação gratuita do Azure.
• Azure PowerShell 1.0 ou superior. Consulte Como instalar e configurar o Azure PowerShell.

Autenticação

Este artigo usa uma abordagem de autenticação mais simples com o Data Lake Storage Gen1, onde você é solicitado a inserir suas credenciais de conta do Azure. O nível de acesso à conta e ao sistema de arquivos do Data Lake Storage Gen1 é regido pelo nível de acesso do usuário conectado. No entanto, existem outras abordagens para autenticar com o Data Lake Storage Gen1, que são a autenticação do usuário final ou a autenticação de serviço a serviço. Para obter instruções e obter mais informações sobre como autenticar, veja End-user authentication (Autenticação de utilizador final) ou Service-to-service authentication (Autenticação de serviço a serviço).

Criar uma conta do Data Lake Storage Gen1

1. No ambiente de trabalho, abra uma nova janela do Windows PowerShell. Insira o seguinte trecho para fazer logon em sua conta do Azure, definir a assinatura e registrar o provedor Data Lake Storage Gen1. Quando lhe for pedido para iniciar sessão, certifique-se de que inicia sessão como um dos administradores/proprietários da subscrição:

   # Log in to your Azure account
   Connect-AzAccount
   
   # List all the subscriptions associated to your account
   Get-AzSubscription
   
   # Select a subscription
   Set-AzContext -SubscriptionId <subscription ID>
   
   # Register for Azure Data Lake Storage Gen1
   Register-AzResourceProvider -ProviderNamespace "Microsoft.DataLakeStore"
   

2. Uma conta do Data Lake Storage Gen1 está associada a um grupo de recursos do Azure. Comece criando um grupo de recursos.

   $resourceGroupName = "<your new resource group name>"
   New-AzResourceGroup -Name $resourceGroupName -Location "East US 2"
   

   

3. Crie uma conta do Data Lake Storage Gen1. O nome que especificar só pode conter minúsculas e números.

   $dataLakeStorageGen1Name = "<your new Data Lake Storage Gen1 account name>"
   New-AzDataLakeStoreAccount -ResourceGroupName $resourceGroupName -Name $dataLakeStorageGen1Name -Location "East US 2"
   

   

4. Certifique-se de que a conta foi criada com êxito.

   Test-AzDataLakeStoreAccount -Name $dataLakeStorageGen1Name
   

   O resultado do cmdlet deve ser Verdadeiro.

Criar estruturas de diretório

Você pode criar diretórios em sua conta do Data Lake Storage Gen1 para gerenciar e armazenar dados.

1. Especifique um diretório de raiz.

   $myrootdir = "/"
   

2. Crie um novo diretório denominado mynewdirectory na raiz especificada.

   New-AzDataLakeStoreItem -Folder -AccountName $dataLakeStorageGen1Name -Path $myrootdir/mynewdirectory
   

3. Certifique-se de que o novo diretório foi criado com êxito.

   Get-AzDataLakeStoreChildItem -AccountName $dataLakeStorageGen1Name -Path $myrootdir
   

   Deve ser apresentado como uma saída, conforme mostrado na captura de ecrã seguinte:

   

Carregar dados

Você pode carregar seus dados para o Data Lake Storage Gen1 diretamente no nível raiz ou para um diretório criado dentro da conta. Os fragmentos nesta secção demonstram como carregar alguns dados de exemplo para o diretório (mynewdirectory) que criou na secção anterior.

Se estiver à procura de alguns dados de exemplo para carregar, pode obter a pasta Ambulance Data a partir do Repositório de Git do Azure Data Lake. Baixe o arquivo e armazene-o em um diretório local no seu computador, como C:\sampledata.

Import-AzDataLakeStoreItem -AccountName $dataLakeStorageGen1Name `
   -Path "C:\sampledata\vehicle1_09142014.csv" `
   -Destination $myrootdir\mynewdirectory\vehicle1_09142014.csv

Renomear, baixar e excluir dados

Para mudar o nome de um ficheiro, utilize o seguinte comando:

Move-AzDataLakeStoreItem -AccountName $dataLakeStorageGen1Name `
    -Path $myrootdir\mynewdirectory\vehicle1_09142014.csv `
    -Destination $myrootdir\mynewdirectory\vehicle1_09142014_Copy.csv

Para transferir um ficheiro, utilize o seguinte comando:

Export-AzDataLakeStoreItem -AccountName $dataLakeStorageGen1Name `
    -Path $myrootdir\mynewdirectory\vehicle1_09142014_Copy.csv `
    -Destination "C:\sampledata\vehicle1_09142014_Copy.csv"

Para eliminar um ficheiro, utilize o seguinte comando:

Remove-AzDataLakeStoreItem -AccountName $dataLakeStorageGen1Name `
    -Paths $myrootdir\mynewdirectory\vehicle1_09142014_Copy.csv

Quando lhe for pedido, introduza S para eliminar o item. Se tiver mais de um ficheiro a eliminar, pode fornecer todos os caminhos separados por vírgula.

Remove-AzDataLakeStoreItem -AccountName $dataLakeStorageGen1Name `
    -Paths $myrootdir\mynewdirectory\vehicle1_09142014.csv, $myrootdir\mynewdirectoryvehicle1_09142014_Copy.csv

Eliminar a sua conta

Use o comando a seguir para excluir sua conta do Data Lake Storage Gen1.

Remove-AzDataLakeStoreAccount -Name $dataLakeStorageGen1Name

Quando lhe for pedido, introduza S para eliminar a conta.

Próximos passos

• Diretrizes de ajuste de desempenho para usar o PowerShell com o Azure Data Lake Storage Gen1
• Usar o Azure Data Lake Storage Gen1 para requisitos de big data
• Proteger dados no Armazenamento do Data Lake Ger1
• Usar a Análise do Azure Data Lake com o Data Lake Storage Gen1
• Usar o Azure HDInsight com o Data Lake Storage Gen1