Como usar o Azure Pipelines com o Apache Flink® no HDInsight no AKS

Neste artigo, você aprenderá a usar o Azure Pipelines com o HDInsight no AKS para enviar trabalhos do Flink com a API REST do cluster. Orientamos você pelo processo usando um pipeline YAML de exemplo e um script do PowerShell, ambos simplificando a automação das interações da API REST.

Pré-requisitos

• Assinatura do Azure. Se você não tiver uma assinatura do Azure, crie uma conta gratuita.

• Uma conta do GitHub, na qual você pode criar um repositório. Crie um gratuitamente.

• Criar diretório .pipeline, copiar flink-azure-pipelines.yml e flink-job-azure-pipeline.ps1

• Organização do Azure DevOps. Crie um gratuitamente. Se sua equipe já tiver uma, verifique se você é administrador do projeto do Azure DevOps que deseja usar.

• Capacidade de executar pipelines em agentes hospedados pela Microsoft. Para usar agentes hospedados pela Microsoft, sua organização do Azure DevOps precisa ter acesso a trabalhos paralelos hospedados pela Microsoft. Você pode comprar um trabalho paralelo ou solicitar uma concessão gratuita.

• Um cluster Flink. Se você não tiver um, Crie um cluster Flink no HDInsight no AKS.

• Crie um diretório na conta de armazenamento do cluster para copiar o jar do trabalho. Posteriormente, esse diretório precisará ser configurado no YAML do pipeline para a localização do jar do trabalho (<JOB_JAR_STORAGE_PATH>).

Etapas para configurar o pipeline

Criar uma entidade de serviço para Azure Pipelines

Crie uma entidade de serviço do Microsoft Entra para acessar o Azure – Conceda permissão para acessar o cluster do HDInsight no AKS com a função Colaborador e anote os valores de appId, senha e locatário da resposta.

az ad sp create-for-rbac -n <service_principal_name> --role Contributor --scopes <Flink Cluster Resource ID>`

Exemplo:

az ad sp create-for-rbac -n azure-flink-pipeline --role Contributor --scopes /subscriptions/abdc-1234-abcd-1234-abcd-1234/resourceGroups/myResourceGroupName/providers/Microsoft.HDInsight/clusterpools/hiloclusterpool/clusters/flinkcluster`

Referência

• Site do Apache Flink

Criar um cofre de chave

1. Crie o Azure Key Vault, siga este tutorial para criar um novo Azure Key Vault.

2. Crie três Segredos

   • cluster-storage-key para chave de armazenamento.

   • service-principal-key para clientId principal ou appId.

   • service-principal-secret para segredo da entidade de segurança.

   

3. Conceda permissão para acessar o Azure Key Vault com a função "Responsável por segredos do Key Vault" à entidade de serviço.

Configurar pipeline

1. Navegue até seu projeto e clique em Configurações do Projeto.

2. Role a tela para baixo e selecione Conexões do Serviço e, em seguida, Nova Conexão do Serviço.

3. Selecione Azure Resource Manager.

   

4. No método de autenticação, selecione Entidade de serviço (automático).

   

5. Edite as propriedades da conexão do serviço. Selecione a entidade de serviço que você criou recentemente.

   

6. Clique em Verificar para conferir se a conexão foi configurada corretamente. Se você encontrar o seguinte erro:

   

7. Será necessário atribuir a função Leitor à assinatura.

8. Depois disso, a verificação deve ter sucesso.

9. Salvar a conexão de serviço.

   

10. Navegue até pipelines e clique em Novo Pipeline.

    

11. Selecione GitHub como o local do código.

12. Selecione o repositório . Confira como criar um repositório no GitHub. select-github-repo image.

    

13. Selecione o repositório . Para saber mais, confira Como criar um repositório no GitHub.

    

14. Na opção de configuração de pipeline, escolha Arquivo YAML do Azure Pipelines existente. Selecione o script do branch e do pipeline copiado anteriormente. (.pipeline/flink-azure-pipelines.yml)

    

15. Substitua o valor na seção variável.

    

16. Corrija a seção de build de código com base em suas necessidades e configure <JOB_JAR_LOCAL_PATH> na seção variável para o caminho local do jar de trabalho.

    

17. Adicione a variável de pipeline "action" e configure o valor "RUN".

    

    é possível alterar os valores da variável antes de executar o pipeline.

    • NEW: esse é o valor padrão. Ele inicia um novo trabalho e, se o trabalho já estiver em execução, atualizará o trabalho em execução com o jar mais recente.

    • SAVEPOINT: esse valor usa o ponto de salvamento para executar o trabalho.

    • DELETE: cancelar ou excluir o trabalho em execução.

18. Salve e execute o pipeline. Veja o trabalho em execução no portal na seção Trabalho do Flink.