Executar scripts U-SQL no computador local

Quando desenvolve scripts U-SQL, pode poupar tempo e despesa ao executar os scripts localmente. O Azure Data Lake Tools para Visual Studio suporta a execução de scripts U-SQL no seu computador local.

Conceitos básicos para execuções locais

O gráfico seguinte mostra os componentes da execução local e como estes componentes são mapeados para a cloud.

As secções que se seguem fornecem mais informações sobre os componentes de execução locais.

Pastas de raiz de dados locais

Uma pasta de raiz de dados local é um arquivo local para a conta de computação local. Qualquer pasta no sistema de ficheiros local no seu computador local pode ser uma pasta de raiz de dados local. É igual à conta predefinida do Azure Data Lake Store de uma conta Data Lake Analytics. Mudar para uma pasta de raiz de dados diferente é como mudar para uma conta de arquivo predefinida diferente.

A pasta raiz de dados é utilizada da seguinte forma:

• Armazenar metadados. Os exemplos são bases de dados, tabelas, funções com valor de tabela e assemblagens.
• Procure os caminhos de entrada e saída definidos como caminhos relativos em scripts U-SQL. Ao utilizar caminhos relativos, é mais fácil implementar os scripts U-SQL no Azure.

Motores de execução locais U-SQL

Um motor de execução local U-SQL é uma conta de computação local para tarefas U-SQL. Os utilizadores podem executar tarefas U-SQL localmente através das Ferramentas do Azure Data Lake para Visual Studio. As execuções locais também são suportadas através das interfaces de linha de comandos e programação do SDK U-SQL do Azure Data Lake. Saiba mais sobre o SDK U-SQL do Azure Data Lake.

Diretórios de trabalho

Quando executa um script U-SQL, é necessária uma pasta de diretório de trabalho para colocar em cache os resultados da compilação, executar registos e executar outras funções. No Azure Data Lake Tools para Visual Studio, o diretório de trabalho é o diretório de trabalho do projeto U-SQL. Está localizado em <U-SQL project root path>/bin/debug>. O diretório de trabalho é limpo sempre que uma nova execução é acionada.

Execuções locais no Microsoft Visual Studio

As Ferramentas do Azure Data Lake para Visual Studio têm um motor de execução local incorporado. As ferramentas aparecem no motor como uma conta de computação local. Para executar um script U-SQL localmente, selecione a conta Local-machine ou Local-project no menu pendente margem do editor do script. Em seguida, selecione Submeter.

Execuções locais com uma conta de Computador local

Uma conta de Computador local é uma conta de computação local partilhada com uma única pasta de raiz de dados local como conta de arquivo local. Por predefinição, a pasta raiz de dados está localizada em C:\Users<username>\AppData\Local\USQLDataRoot. Também é configurável através das Ferramentas>Opções e Definições doData Lake>.

É necessário um projeto U-SQL para uma execução local. O diretório de trabalho do projeto U-SQL é utilizado para o diretório de trabalho de execução local U-SQL. Os resultados da compilação, os registos de execução e outros ficheiros relacionados com a execução de tarefas são gerados e armazenados na pasta do diretório de trabalho durante a execução local. Sempre que executar novamente o script, todos os ficheiros no diretório de trabalho são limpos e regenerados.

Execuções locais com uma conta de projeto Local

Uma conta de Projeto local é uma conta de computação local isolada do projeto para cada projeto com uma pasta de raiz de dados local isolada. Todos os projetos U-SQL ativos que são abertos no Explorador de Soluções no Visual Studio têm uma conta correspondente(Local-project: <project name>). As contas estão listadas no Explorador de Servidores no Visual Studio e na margem do editor de scripts U-SQL.

A conta projeto local fornece um ambiente de desenvolvimento limpo e isolado. Uma conta de Computador local tem uma pasta de raiz de dados local partilhada que armazena metadados e dados de entrada e saída para todas as tarefas locais. No entanto, uma conta de Projeto local cria uma pasta de raiz de dados local temporária num diretório de trabalho de projeto U-SQL sempre que um script U-SQL é executado. Esta pasta de raiz de dados temporária é limpa quando ocorre uma recompilação ou nova execução.

Um projeto U-SQL gere o ambiente de execução local isolado através de uma referência e propriedade de projeto. Pode configurar as origens de dados de entrada para scripts U-SQL no projeto e nos ambientes de base de dados referenciados.

Gerir a origem de dados de entrada de uma conta de Projeto local

Um projeto U-SQL cria uma pasta de raiz de dados local e configura dados para uma conta de projeto Local . Uma pasta de raiz de dados temporária é limpa e recriada no diretório de trabalho do projeto U-SQL sempre que ocorre uma reconstrução e execução local. Todas as origens de dados configuradas pelo projeto U-SQL são copiadas para esta pasta de raiz de dados local temporária antes da execução da tarefa local.

Pode configurar a pasta raiz das suas origens de dados. Clique com o botão direito do rato em Origem deDados de Teste dePropriedade> do projeto> U-SQL. Quando executa um script U-SQL numa conta de projeto Local , todos os ficheiros e subpastas na pasta Origem de Dados de Teste são copiados para a pasta de raiz de dados local temporária. Os ficheiros em subpastas estão incluídos. Após a execução de uma tarefa local, os resultados de saída também podem ser encontrados na pasta de raiz de dados local temporária no diretório de trabalho do projeto. Todo este resultado é eliminado e limpo quando o projeto é reconstruído e limpo.

Gerir um ambiente de base de dados referenciado para uma conta de Projeto local

Se uma consulta U-SQL utilizar ou consultar objetos de base de dados U-SQL, tem de preparar os ambientes da base de dados localmente antes de executar o script U-SQL localmente. Para uma conta de projeto local , as dependências da base de dados U-SQL podem ser geridas por referências de projetos U-SQL. Pode adicionar referências de projetos de base de dados U-SQL ao projeto U-SQL. Antes de executar scripts U-SQL numa conta de Projeto local , todas as bases de dados referenciadas são implementadas na pasta de raiz de dados local temporária. Além disso, para cada execução, a pasta raiz de dados temporária é limpa como um novo ambiente isolado.

Veja este artigo relacionado:

• Saiba como gerir definições e referências de bases de dados U-SQL em projetos de base de dados U-SQL.

A diferença entre as contas Local-machine e Local-project

Uma conta de computador local simula uma conta do Azure Data Lake Analytics nos computadores locais dos utilizadores. Partilha a mesma experiência com uma conta do Azure Data Lake Analytics. Uma conta de Projeto local fornece um ambiente de desenvolvimento local amigável para o utilizador. Este ambiente ajuda os utilizadores a implementar referências de bases de dados e dados de entrada antes de executarem scripts localmente. Uma conta de Computador local fornece um ambiente permanente partilhado que pode ser acedido através de todos os projetos. Uma conta de Projeto local fornece um ambiente de desenvolvimento isolado para cada projeto. É atualizado para cada execução. Uma conta de Projeto local oferece uma experiência de desenvolvimento mais rápida ao aplicar rapidamente novas alterações.

São apresentadas mais diferenças entre as contas Local-machine e Local-project na tabela seguinte:

Uma execução local com o SDK U-SQL

Pode executar scripts U-SQL localmente no Visual Studio e também utilizar o SDK U-SQL do Azure Data Lake para executar scripts U-SQL localmente com interfaces de linha de comandos e programação. Através destas interfaces, pode automatizar as execuções e os testes locais do U-SQL.

Saiba mais sobre o SDK U-SQL do Azure Data Lake.

Passos seguintes

• Como configurar um pipeline CI/CD para o Azure Data Lake Analytics.
• Como testar o código do Azure Data Lake Analytics.