Atualizar o HDInsight em clusters e pools de clusters do AKS

Saiba como atualizar o HDInsight em clusters e pools de cluster do AKS para os patches mais recentes do AKS, atualizações de segurança, patches de cluster e hotfixes de cluster com atualização in-loco.

Por que atualizar

O HDInsight no AKS é um serviço que permite executar Apache Flink, Apache Spark e Trino no AKS (Serviço de Kubernetes do Azure). O HDInsight no AKS oferece os benefícios da escalabilidade, confiabilidade e flexibilidade da nuvem, além de permitir que você use suas ferramentas e aplicativos existentes.

Um dos recursos importantes do HDInsight no AKS é que você pode atualizar seus clusters e pools de cluster com as atualizações de software mais recentes. Isso significa que você pode desfrutar dos hotfixes mais recentes, atualizações de segurança e patches do AKS, sem recriar clusters.

Como o HDInsight no AKS depende da infraestrutura subjacente do AKS (Serviço de Kubernetes do Azure), ele precisa ser atualizado periodicamente para garantir a segurança e a compatibilidade com os recursos mais recentes. É importante fazer atualizações para aplicar as versões de segurança mais recentes e para obter acesso aos recursos mais recentes do Kubernetes, bem como para permanecer na janela de suporte do AKS correspondente ao seu pool de clusters do HDInsight no AKS. A Microsoft fornece patches e novas imagens para nós de imagem no AKS com frequência (semanal), mas os nós em execução não obterão as novas imagens, a menos que você faça uma atualização do sistema operacional do nó.

Por exemplo, você pode atualizar seu cluster Spark para obter os aprimoramentos de hotfixes mais recentes, correções de segurança para o sistema operacional do nó e atualizações de patch do AKS para manter o software de cluster e de pools de clusters atualizado.

Neste artigo, mostramos como atualizar o HDInsight em clusters e pools de clusters do AKS usando o portal do Azure.

Compartilhamos algumas práticas recomendadas para ajudar você com o processo de atualização.

Tipos de atualizações

A tabela a seguir resume os detalhes dos tipos de atualizações e a frequência na qual você pode prever que as atualizações ocorrerão para clusters e pools de clusters.

Saiba mais sobre o controle de versão do HDInsight no AKS.

Como o HDInsight no AKS usa o AKS (Serviço de Kubernetes do Azure) como a infraestrutura subjacente, ele precisa ser atualizado periodicamente para garantir a segurança e a compatibilidade com os recursos mais recentes.

Há dois componentes de um cluster do AKS que são necessários manter:

• Atualizações de versão secundária e patch do AKS: parte do ciclo de vida do cluster do AKS envolve a execução de atualizações periódicas para a versão mais recente do Kubernetes. É importante fazer atualizações para aplicar as versões de segurança mais recentes e para obter acesso aos recursos mais recentes do Kubernetes, bem como para permanecer na janela de suporte do AKS. A versão do pool de clusters do HDInsight no AKS é mapeada para as versões secundárias do AKS.

  • Os patches do AKS são realizados usando atualizações de patch do AKS, que podem ser aplicadas ao pool de clusters e clusters no HDInsight no AKS, iniciando o pool de clusters versão 1.1.

  • As versões secundárias do AKS são realizadas usando a atualização de versão secundária do AKS, que atualiza o pool de clusters e os clusters para a versão secundária mais recente do AKS com suporte no HDInsight no AKS, começando pelo pool de clusters versão 1.* O HDInsight no AKS tem como objetivo permanecer no topo da política de suporte do Kubernetes N-2, juntamente com o calendário de lançamento do AKS, para continuar fornecendo a você a capacidade de executar atualizações secundárias in-loco, e incentivamos você a planejar a atualização para versões secundárias mais recentes assim que elas estiverem disponíveis.

• Atualizações de sistema operacional do nó: o AKS fornece regularmente novas imagens de nó com as atualizações mais recentes do sistema operacional e do runtime. É benéfico atualizar as imagens dos nós regularmente para garantir o suporte para os recursos mais recentes do AKS e aplicar patches de segurança essenciais e correções frequentes na camada do AKS. Os anúncios de atualização de imagens estão incluídos nas Notas sobre a versão do AKS e pode levar até uma semana para que essas atualizações sejam distribuídas em todas as regiões. Com essa atualização, atualizamos apenas as imagens do pool de nós sem atualizar a versão do Kubernetes. No HDInsight no AKS, essa atualização é realizada usando atualizações do sistema operacional do nó, que podem ser aplicadas a clusters e ao pool de clusters, começando pelo pool de clusters versão 1.1.

Para aproveitar os recursos mais recentes do HDInsight no AKS, recomendamos atualizar regularmente os clusters do HDInsight no AKS com hotfixes e patches. O HDInsight no AKS dá suporte a atualizações in-loco em que os clusters existentes podem ser atualizados com hotfixes e patches mais recentes. Você não precisa descartar e recriar um novo cluster; quando o cluster está qualificado para uma atualização, o status de atualização de software reflete a atualização pendente e você pode executar a atualização com alguns cliques e janelas de manutenção.

As versões de patch do HDInsight no AKS ocorrem a cada 30 a 60 dias. É sempre bom mudar para o patch mais recente o quanto antes. A duração máxima recomendada para atualizações de cluster é menos a três meses.

Atualizações de hotfix: as versões de hotfix são feitas conforme necessário e incluem apenas algumas correções para um número limitado de módulos dentro do pacote de cluster. Os hotfixes são aplicáveis aos clusters e, quando essas atualizações estiverem disponíveis, o cluster refletirá as atualizações pendentes no status de atualizações de software, para que você execute a operação de manutenção com a atualização in-loco.

Atualizações de patch: os recursos no Azure são disponibilizados por um provedor de recursos. O provedor de recursos do HDInsight no AKS é responsável por criar, gerenciar e excluir clusters. O HDInsight no AKS atualiza suas imagens no registro de contêiner do Azure continuamente para reunir componentes OSS (software de código aberto) que podem ser implantados em um cluster. Essas imagens contêm o sistema operacional base Linux do Azure e componentes principais, como Spark, Flink e Trino. Os patches mensais trazem as correções de bug do provedor de recursos e também componentes de código aberto e outros bugs ou aprimoramentos de recursos, que são específicos para o cluster que você está operando. As atualizações de patch são aplicáveis aos clusters e, quando essas atualizações estiverem disponíveis, o cluster refletirá as atualizações pendentes no status de atualizações de software, para que você execute a operação de manutenção com a atualização in-loco.

Como verificar as atualizações disponíveis

Antes de iniciar a atualização, você precisa verificar as atualizações disponíveis para o cluster do HDInsight no AKS.

As atualizações dependem da versão do cluster ou da versão do pool de clusters, que é a versão atual do HDInsight no AKS e também a versão do AKS.

Você pode verificar a folha de visão geral da seção de atualização de software para verificar se você tem atualizações de software – atualizadas ou pendentes.

Caso você tenha uma atualização de software disponível, observe que o cluster está mostrando a atualização de software no estado pendente e pode optar pela atualização usando o portal do Azure.

Para verificar as atualizações disponíveis usando o portal do Azure, siga estas etapas:

1. Entre no portal do Azure.

2. Na caixa de pesquisa, digite HDInsight no AKS.

3. Selecione o pool de clusters do HDInsight no AKS

4. Na página de visão geral do cluster, verifique o status da atualização de software.

   

5. Clique em atualizar

   

6. Na folha de atualização, você verá as atualizações disponíveis.

   

7. Com base na atualização disponível, você tem uma opção para selecionar e executar a atualização.

   

8. Depois de disparar a atualização, você receberá as notificações de serviço no portal.

   

9. O status de atualização do cluster passa de pendente para atualizando, e o status do pool de clusters passa para NodeOSUpgrading.

   

10. Como você optou por atualizar pools de clusters e clusters juntos, os clusters também passam para estados semelhantes.

    

11. Depois que a atualização for concluída, você terá uma atualização na faixa e o status na atualização de software será refletido no pool de clusters e nos clusters (se o cluster também for atualizado com o pool de clusters) e as atualizações de notificação refletirão o sucesso da atualização.

    

    

    

    

Planejando uma atualização para os clusters e pools de clusters do HDInsight no AKS

Depois de verificar as versões de atualização disponíveis e escolher aquela que atenda às suas necessidades, você poderá atualizar seus clusters do HDInsight no AKS usando o portal do Azure. O processo de atualização pode levar algum tempo, dependendo do tamanho e da configuração dos clusters e do número de clusters em um pool de clusters.

Durante a atualização, seu cluster permanece operacional e acessível, mas você pode experimentar alguma degradação de desempenho ou interrupções temporárias. Portanto, recomendamos que você atualize seus clusters fora do horário de pico ou quando o cluster não estiver sob carga pesada.

Práticas recomendadas para a atualização in-loco do HDInsight em clusters e pools de clusters do AKS

Para garantir uma atualização tranquila e bem-sucedida dos seus clusters e pools de clusters do HDInsight no AKS, siga estas práticas recomendadas:

Antes de iniciar a atualização, verifique se o cluster está íntegro e estável e se o status do cluster não é em erro.

1. Antes da atualização, examine as notas sobre a versão da nova versão do HDInsight no AKS e prepare-se para as alterações necessárias em seus aplicativos ou scripts para se adaptar aos novos recursos ou alterações. Teste-os em um ambiente inferior, antes de migrar para a produção.

2. Antes da atualização, planeje uma janela de manutenção em que você possa executar as atualizações do cluster na janela planejada. As atualizações in-loco (cluster e pool de clusters) afetam o desempenho do seu ambiente e os trabalhos podem enfrentar tempo de inatividade enquanto a atualização está em andamento.

3. Durante a atualização, não faça nenhuma alteração nos recursos do cluster, como adicionar ou remover nós ou executar dimensionamento, atualização de configurações ou exclusão. Isso pode interferir no processo de atualização e causar erros ou falhas.

4. Durante a atualização, monitore a disponibilidade do cluster. Você pode usar o portal do Azure para verificar o status da atualização de software.

5. Se a atualização falhar ou encontrar problemas, você poderá entrar em contato com o suporte do Azure ou executar uma operação de reversão manual para restaurar a atualização para a versão usada anteriormente.

6. Após a atualização, verifique se o cluster está funcionando conforme o esperado. Você pode verificar a versão do cluster, a integridade e as configurações usando o portal do Azure, a CLI do Azure, o Azure PowerShell ou a integridade do serviço. Você também pode executar alguns trabalhos de teste ou consultas para verificar a funcionalidade do cluster.

Etapas para atualizações

Atualizações do sistema operacional de nó

1. Depois de clicar em atualizar na folha de visão geral, selecione Atualização do sistema operacional do nó no painel de atualização à esquerda.

2. Se houver uma atualização do sistema operacional do nó, o pool de clusters e os clusters passarão pela atualização simultaneamente.

   

3. Depois de disparar a atualização, você receberá as notificações de serviço no portal.

   

4. O status de atualização do cluster passa de pendente para atualizando, e o status do pool de clusters passa para NodeOSUpgrading.

   

5. Como você optou por atualizar pools de clusters e clusters juntos, os clusters também passam para estados semelhantes.

   

6. Depois que a atualização for concluída, você terá uma atualização na faixa e o status na atualização de software será refletido no pool de clusters e nos clusters (se os clusters também foram atualizados com o pool de clusters) e as atualizações de notificação refletirão o sucesso da atualização.

   

   

   

   

Atualizações de patch do AKS

1. Depois de clicar em atualizar na folha de visão geral, selecione a atualização de patch do AKS no painel de atualização à esquerda.

2. Na atualização de patch do AKS, o pool de clusters e os clusters não passam pela atualização simultaneamente. Clusters individuais precisam aplicar as atualizações de patch do AKS com base nas janelas de manutenção planejada para seus clusters.

   

3. Depois de disparar a atualização, você receberá as notificações de serviço no portal.

   

4. O status de atualização do cluster passa de pendente para atualizando e o status do pool de clusters passa para AksPatchUpgrading.

   

5. Depois que a atualização for concluída, você receberá uma atualização na faixa e o status na atualização de software será refletido no pool de clusters e nos clusters (caso os clusters também tenham sido atualizados com o pool de clusters) e as atualizações de notificação refletirão o sucesso da atualização.

   

6. Depois de aplicar o patch para o pool de clusters, você poderá aplicar os patches do AKS aos clusters no pool de clusters de uma só vez ou ir para o cluster individual e aplicar o patch, com base nos agendamentos de manutenção.

   

7. Quando você usa a atualização de todos os clusters na página do pool de clusters para concluir a atualização de todos os clusters no pool de clusters de uma só vez.

   

8. O painel de atualização no lado direito mostra os detalhes da atualização em versões de patch do AKS (caminho atual e de atualização).

   

9. Depois que a atualização for iniciada, o ícone de notificação mostrará que a atualização do cluster está em andamento

   

10. O painel de visão geral do cluster no pool de clusters também reflete o status das atualizações.

    

11. Depois que a atualização for concluída, a faixa de visão geral e a bandeja de notificação serão atualizadas.

    

    

Atualizações de hotfix

1. Na página de visão geral do cluster, você pode observar que você tem uma atualização de hotfix pendente para o cluster.

   

2. Depois de clicar na atualização, vá para a seção de atualizações do cluster com os detalhes da atualização pendente.

   

3. Depois de iniciar a atualização, a notificação mostra o progresso da atualização e a página de visão geral do cluster reflete o status como atualização de hotfix e alterações de status de atualização de software para atualizando.

   

   

4. Após a conclusão da atualização, a faixa de visão geral do status do cluster muda para em execução, o status da atualização de software muda para atualizado e a faixa de notificação na seção de visão geral é atualizada.