Introdução ao armazenamento em cluster
Nota
Vamos desativar o Azure HDInsight no AKS em 31 de janeiro de 2025. Antes de 31 de janeiro de 2025, você precisará migrar suas cargas de trabalho para o Microsoft Fabric ou um produto equivalente do Azure para evitar o encerramento abrupto de suas cargas de trabalho. Os clusters restantes na sua subscrição serão interrompidos e removidos do anfitrião.
Apenas o apoio básico estará disponível até à data da reforma.
Importante
Esta funcionalidade está atualmente em pré-visualização. Os Termos de Utilização Suplementares para Pré-visualizações do Microsoft Azure incluem mais termos legais que se aplicam a funcionalidades do Azure que estão em versão beta, em pré-visualização ou ainda não disponibilizadas para disponibilidade geral. Para obter informações sobre essa visualização específica, consulte Informações de visualização do Azure HDInsight no AKS. Para perguntas ou sugestões de recursos, envie uma solicitação no AskHDInsight com os detalhes e siga-nos para obter mais atualizações na Comunidade do Azure HDInsight.
O Azure HDInsight no AKS pode integrar-se perfeitamente com o Armazenamento do Azure, que é uma solução de armazenamento de uso geral que funciona bem com muitos outros serviços do Azure. O Azure Data Lake Storage Gen2 (ADLS Gen 2) é o sistema de arquivos padrão para os clusters.
A conta de armazenamento pode ser usada como o local padrão para dados, logs de cluster e outras saídas geradas durante a operação do cluster. Também pode ser um armazenamento padrão para o catálogo do Hive que depende do tipo de cluster.
Para obter mais informações, consulte Introdução ao Azure Data Lake Storage Gen2.
Identidades gerenciadas para acesso seguro a arquivos
O Azure HDInsight no AKS usa identidades gerenciadas (MSI) para proteger o acesso de cluster a arquivos no Azure Data Lake Storage Gen2. A identidade gerenciada é um recurso do Microsoft Entra ID que fornece aos serviços do Azure um conjunto de credenciais gerenciadas automaticamente. Essas credenciais podem ser usadas para autenticar em qualquer serviço que ofereça suporte à autenticação do Ative Directory. Além disso, as identidades gerenciadas não exigem que você armazene credenciais em arquivos de código ou configuração.
No Azure HDInsight no AKS, depois de selecionar uma identidade gerenciada e armazenamento durante a criação do cluster, a identidade gerenciada pode funcionar perfeitamente com o armazenamento para gerenciamento de dados, desde que a função Proprietário de Dados do Blob de Armazenamento seja atribuída ao MSI atribuído pelo usuário.
A tabela a seguir descreve as opções de armazenamento com suporte para o Azure HDInsight no AKS (visualização pública):
| Tipo de Cluster | Armazenamento suportado | Connection | Função no armazenamento |
|---|---|---|---|
| Trino, Apache Flink e Apache Spark | ADLS Gen2 | Identidade gerenciada atribuída pelo usuário (MSI) do cluster | O MSI atribuído pelo usuário precisa ter a função de Proprietário de Dados de Blob de Armazenamento na conta de armazenamento. |
Nota
Para compartilhar uma conta de armazenamento em vários clusters, basta atribuir o MSI correspondente atribuído pelo usuário ao cluster "Storage Blob Data Owner" na conta de armazenamento compartilhada. Saiba como atribuir uma função.
Depois disso, você pode usar o caminho de armazenamento abfs:// completo para acessar os dados por meio de seus aplicativos.
Para obter mais informações, consulte Identidades gerenciadas para recursos do Azure.
Saiba como criar uma conta ADLS Gen2.
Azure HDInsight na arquitetura de armazenamento AKS
O diagrama a seguir fornece uma exibição abstrata do Azure HDInsight na arquitetura AKS do Armazenamento do Azure.
Gestão de armazenamento
Atualmente, o Azure HDInsight no AKS não suporta contas de armazenamento com exclusão suave habilitada, certifique-se de desabilitar a exclusão suave para sua conta de armazenamento.
