Executar consultas do Apache Hive usando SDK do .NET do HDInsight

Saiba como enviar consultas do Apache Hive usando SDK do .NET do HDInsight. Você escreve um programa em C# para enviar uma consulta do Hive para listar tabelas de Hive e exibir os resultados.

Pré-requisitos

Antes de começar este artigo, você deve ter os seguintes itens:

• Um cluster do Apache Hadoop no HDInsight. Confira a Introdução ao uso do Hadoop baseado em Linux no HDInsight.

  Importante

  A partir de 15 de setembro de 2017, o HDInsight .NET SDK suporta apenas resultados de consulta de Hive retornados de contas de armazenamento do Azure. Se você usar este exemplo com um cluster HDInsight que usa o Azure Data Lake Storage como armazenamento primário, você não poderá recuperar os resultados da pesquisa usando o .NET SDK.

• Visual Studio 2013 e posterior. No mínimo, o desenvolvimento de desktop .NET de carga de trabalho deve ser instalado.

Executar uma consulta de Hive

O SDK do .NET do HDInsight fornece bibliotecas de cliente .NET que facilitam o trabalho com clusters HDInsight do .NET.

1. No Visual Studio, crie um aplicativo de console C#.

2. No Console do Gerenciador de Pacotes NuGet, execute o comando a seguir:

   Install-Package Microsoft.Azure.Management.HDInsight.Job
   

3. Edite o código abaixo para inicializar os valores para variáveis: ExistingClusterName, ExistingClusterUsername, ExistingClusterPassword,DefaultStorageAccountName,DefaultStorageAccountKey,DefaultStorageContainerName. Em seguida, use o código revisado como todo o conteúdo de Program.cs no Visual Studio.

   using System.Collections.Generic;
   using System.IO;
   using System.Text;
   using System.Threading;
   using Microsoft.Azure.Management.HDInsight.Job;
   using Microsoft.Azure.Management.HDInsight.Job.Models;
   using Hyak.Common;
   
   namespace SubmitHDInsightJobDotNet
   {
       class Program
       {
           private static HDInsightJobManagementClient _hdiJobManagementClient;
   
           private const string ExistingClusterName = "<Your HDInsight Cluster Name>";
           private const string ExistingClusterUsername = "<Cluster Username>";
           private const string ExistingClusterPassword = "<Cluster User Password>";
   
           // Only Azure Storage accounts are supported by the SDK
           private const string DefaultStorageAccountName = "<Default Storage Account Name>";
           private const string DefaultStorageAccountKey = "<Default Storage Account Key>";
           private const string DefaultStorageContainerName = "<Default Blob Container Name>";
   
           private const string ExistingClusterUri = ExistingClusterName + ".azurehdinsight.net";
   
           static void Main(string[] args)
           {
               System.Console.WriteLine("The application is running ...");
   
               var clusterCredentials = new BasicAuthenticationCloudCredentials { Username = ExistingClusterUsername, Password = ExistingClusterPassword };
               _hdiJobManagementClient = new HDInsightJobManagementClient(ExistingClusterUri, clusterCredentials);
   
               SubmitHiveJob();
   
               System.Console.WriteLine("Press ENTER to continue ...");
               System.Console.ReadLine();
           }
   
           private static void SubmitHiveJob()
           {
               Dictionary<string, string> defines = new Dictionary<string, string> { { "hive.execution.engine", "tez" }, { "hive.exec.reducers.max", "1" } };
               List<string> args = new List<string> { { "argA" }, { "argB" } };
               var parameters = new HiveJobSubmissionParameters
               {
                   Query = "SHOW TABLES",
                   Defines = defines,
                   Arguments = args
               };
   
               System.Console.WriteLine("Submitting the Hive job to the cluster...");
               var jobResponse = _hdiJobManagementClient.JobManagement.SubmitHiveJob(parameters);
               var jobId = jobResponse.JobSubmissionJsonResponse.Id;
               System.Console.WriteLine("Response status code is " + jobResponse.StatusCode);
               System.Console.WriteLine("JobId is " + jobId);
   
               System.Console.WriteLine("Waiting for the job completion ...");
   
               // Wait for job completion
               var jobDetail = _hdiJobManagementClient.JobManagement.GetJob(jobId).JobDetail;
               while (!jobDetail.Status.JobComplete)
               {
                   Thread.Sleep(1000);
                   jobDetail = _hdiJobManagementClient.JobManagement.GetJob(jobId).JobDetail;
               }
   
               // Get job output
               var storageAccess = new AzureStorageAccess(DefaultStorageAccountName, DefaultStorageAccountKey,
                   DefaultStorageContainerName);
               var output = (jobDetail.ExitValue == 0)
                   ? _hdiJobManagementClient.JobManagement.GetJobOutput(jobId, storageAccess) // fetch stdout output in case of success
                   : _hdiJobManagementClient.JobManagement.GetJobErrorLogs(jobId, storageAccess); // fetch stderr output in case of failure
   
               System.Console.WriteLine("Job output is: ");
   
               using (var reader = new StreamReader(output, Encoding.UTF8))
               {
                   string value = reader.ReadToEnd();
                   System.Console.WriteLine(value);
               }
           }
       }
   }
   

4. Pressione F5 para executar o aplicativo.

A saída do aplicativo deverá ser semelhante a:

Próximas etapas

Neste artigo, você aprendeu como enviar consultas de Apache Hive usando o SDK do .NET do HDInsight. Confira os seguintes artigos para saber mais:

• Introdução ao Azure HDInsight
• Criar clusters do Apache Hadoop no HDInsight
• Referência de SDK .NET do HDInsight
• Usar o Apache Sqoop com HDInsight
• Criar aplicativos .NET HDInsight de autenticação não interativa