Exercício – Provisionar o HDInsight para executar análises ad hoc

  • 10 minutos

Agora que conhecemos os benefícios da Interactive Query e como ela funciona, é hora de começar a implantar recursos para criar nosso dashboard de imóveis.

Antes de criar um cluster de Interactive Query

Para criar um cluster, é preciso ter uma assinatura do Azure e uma conta de armazenamento do Azure. O Armazenamento do Azure é uma solução robusta de armazenamento de uso geral que se integra perfeitamente ao HDInsight. O HDInsight pode usar um contêiner de blobs no Armazenamento do Azure como o sistema de arquivos padrão para o cluster. É recomendável que você use contêineres de armazenamento separados para o armazenamento de cluster padrão e os dados corporativos para isolar os logs do HDInsight e os arquivos temporários dos seus dados corporativos.

A Interactive Query também pode usar o Azure Data Lake Storage Gen1 ou o Azure Data Lake Storage Gen2 conforme discutido no Módulo 1: Como o HDInsight funciona, no entanto, apenas o armazenamento do Azure e o Azure Data Lake Storage Gen2 dão suporte ao LLAP do Hive. Este procedimento usa o Armazenamento do Azure.

Em que local criar um cluster de Interactive Query

Depois de ter certeza de que um cluster de Interactive Query é o melhor tipo de cluster para sua solução, você pode criar os clusters em vários locais: portal do Azure, CLI do Azure, Azure PowerShell, cURL, modelos do Azure Resource Manager, SDK do .NET do HDInsight e até mesmo usar o Azure Data Factory para criar clusters sob demanda. Este procedimento usa o portal do Azure para implantar um cluster de Interactive Query.

Provisionar uma conta de armazenamento no portal do Azure

O primeiro recurso a ser implantado, caso você ainda não tenha um, é uma conta de armazenamento do Azure.

  1. Entre no portal do Azure usando sua assinatura gratuita.

  2. Clique em Criar um recurso > Armazenamento > Conta de armazenamento.

    Criar uma solução de Interactive Query do HDInsight no portal do Azure.

  3. Na página Noções Básicas, preencha os seguintes valores:

    • Assinatura: verifique se sua assinatura gratuita está selecionada.
    • Grupo de recursos: clique em Criar e atribua o nome hdinsightmodule6uid, em que UID é um identificador exclusivo para você.
    • Nome da conta de armazenamento: insira hdinsightmodule6uid.
    • Localização: selecione a localização mais próximo de seus usuários para reduzir a latência. Observe essa região, pois você criará o cluster HDInsight nela.
    • Desempenho: deixe como Padrão.
    • Tipo de conta: deixe o padrão de StorageV2 (uso geral v2)
    • Replicação: altere o valor para LRS (armazenamento com redundância local )
    • Camada de acesso (padrão): deixe o valor padrão de Quente.

  4. Selecione Avançar: Rede.

    Guia de noções básicas do HDInsight no portal do Azure.

  5. Na página Rede, deixe o método de conectividade como Ponto de extremidade público (todas as redes) e clique em Próximo: Avançado >.

    Guia de rede do HDInsight no portal do Azure.

  6. Na página Avançado, preencha os seguintes valores:

    • Segurança: deixe o valor padrão de Habilitado.
    • Arquivos do Azure: deixe o valor padrão de Desabilitado
    • Proteção de dados: deixe o valor padrão de Desabilitado.
    • Data Lake Storage Gen2: deixe o valor padrão Desabilitado para criar uma conta de Armazenamento de Blobs e clique em Examinar + criar >.

  7. Na página Criar conta de armazenamento, verifique se o tipo de conta está definido como StorageV2 (uso geral v2) e clique em Criar.

    Tela de revisão do HDInsight no portal do Azure.

  8. Quando a implantação for concluída, a mensagem a seguinte mensagem é exibida:

    Captura de tela mostrando a página de visão geral da conta de armazenamento da Microsoft, informando que a implantação foi concluída.

Agora que sua conta de armazenamento foi criada, é hora de implantar os clusters de Interactive Query do HDInsight.

Provisionar um cluster de Interactive Query do HDInsight

  1. Clique em Criar um recurso > Análise > Azure HDInsight.

    Captura de tela mostrando o portal do Azure com “Criar um recurso”, “Análise” e “Azure HDInsight” realçados.

  2. Na página Noções Básicas, clique em Ir para criar experiência clássica.

    Captura de tela mostrando a página “Básico” com “Acessar experiência de criação clássica” realçado.

  3. Na página HDInsight, clique em Personalizado (tamanho, configurações, aplicativos).

    Captura de tela mostrando a página do HDInsight com “Personalizar” realçado.

  4. Na página Noções Básicas, preencha os seguintes valores:

    • Nome do cluster: insira um nome exclusivo para o cluster, como mslearnmodule6uid. Um tique verde aparecerá ao lado do nome, se o nome do cluster for validado e estiver disponível.
    • Assinatura: verifique se sua assinatura gratuita está selecionada.
    • Tipo de cluster: clique em Definir as configurações necessárias, selecione Interactive Query na caixa Tipo de cluster e selecione Interactive Query 3.1.0 (HDI 4.0) na caixa Versão.
    • Nome de usuário de logon do cluster: deixe o valor padrão de administrador
    • Senha de logon do cluster: insira uma senha para o logon do cluster.
    • Nome de usuário do SSH (Secure Shell ): deixe o valor padrão de sshuser.
    • Grupo de recursos: selecione o grupo de recursos que você criou anteriormente, mslearnmodule6yourid.
    • Localização: selecione a mesma região em que sua conta de armazenamento foi criada.

  5. Então clique em Avançar.

    Captura de tela mostrando as páginas de configuração “HDInsight”, “Básico” e “Cluster” com diversos campos realçados.

  6. Na página Segurança + rede, clique em Avançar.

  7. Na página Armazenamento, preencha os seguintes valores:

    • Tipo de armazenamento primário: verifique se o valor padrão do Armazenamento do Azure está selecionado.
    • Selecione uma Conta de armazenamento, clique em Definir configurações necessárias.
    • Na página Contas de armazenamento, pesquise o nome da conta de armazenamento que você criou, mslearnmodule6uid, e selecione-a.

  8. Deixe todos os outros valores como padrão e clique em Avançar.

    A página de armazenamento no portal do Azure.

  9. Na página Aplicativos (opcional), clique em Avançar.

  10. Na página Tamanho do cluster, clique em Avançar.

  11. Na página Ações de script, clique em Opcional e clique em Enviar novo.

  12. Na página Enviar ação de script, preencha os seguintes valores:

  13. Então clique em Criar.

    A página de ações de script no portal do Azure.

  14. Depois que a validação for concluída na página Ações de script, clique em Selecionar e em Avançar.

  15. Na página Resumo do cluster, após a conclusão da validação, verifique se o tipo de cluster está definido como Interactive Query 3.1 (HDI 4.0) e clique em Criar.

    A página de resumo do HDInsight no portal do Azure.

  16. Clique no ícone de notificação para observar o progresso da implantação.

    A notificação de implantação em andamento no portal do Azure.

    Quando a implantação for bem-sucedida, a mensagem será alterada para a Implantação bem-sucedida.

  17. Clique em Ir para recurso no painel Notificações.

    A tela de êxito na implantação do HDInsight no portal do Azure.

  18. É exibida a página Visão geral do cluster HDInsight com informações sobre o cluster e links para ferramentas e relatórios úteis. Você pode adicionar esse recurso ao seu dashboard clicando no botão de fixar.

    A tela de visão geral do HDInsight no portal do Azure.