O que é o HDInsight no AKS? (Pré-visualização)

O HDInsight no AKS é uma plataforma como serviço (PaaS) moderna, confiável, segura e totalmente gerenciada que é executada no Serviço Kubernetes do Azure (AKS). O HDInsight no AKS permite que você implante cargas de trabalho populares do Open Source Analytics, como Apache Spark™, Apache Flink®️ e Trino, sem a sobrecarga de gerenciar e monitorar contêineres.

Você pode criar aplicativos de Big Data de ponta a ponta em escala de petabytes, abrangendo streaming através do Apache Flink, engenharia de dados e aprendizado de máquina usando o Apache Spark e o poderoso mecanismo de consulta do Trino.

Todos esses recursos combinados com o HDInsight no forte foco do desenvolvedor da AKS permitem que empresas e nativos digitais com profundo conhecimento técnico criem e operem aplicativos adequados às suas necessidades. O HDInsight no AKS permite que os desenvolvedores acessem todas as configurações avançadas fornecidas pelo software de código aberto e a extensibilidade para incluir perfeitamente outras ofertas do ecossistema. Essa oferta permite que os desenvolvedores testem e ajustem seus aplicativos para extrair o melhor desempenho a um custo ideal.

O HDInsight no AKS integra-se com todo o ecossistema do Azure, encurtando os ciclos de implementação e melhorando o tempo de obtenção de valor.

Arquitetura técnica

O HDInsight no AKS introduz o conceito de pools de clusters e clusters, que permitem que você perceba o valor completo do data lakehouse. Os pools de clusters permitem que você use várias cargas de trabalho de computação em um único data lake, removendo assim a sobrecarga do gerenciamento de rede e do planejamento de recursos.

• Os pools de clusters são um agrupamento lógico de clusters que ajudam a criar uma interoperabilidade robusta entre vários tipos de cluster e permitem que as empresas tenham os clusters na mesma rede virtual. Os pools de clusters fornecem acesso rápido e econômico a todos os tipos de cluster criados sob demanda e em escala. Um pool de clusters corresponde a um cluster na infraestrutura do AKS.
• Clusters são cargas de trabalho de computação individuais, como Apache Spark, Apache Flink e Trino, que podem ser criadas rapidamente em poucos minutos com configurações predefinidas.

Você pode criar o pool com um único cluster ou uma combinação de tipos de cluster, que são baseados na necessidade e podem configurar as seguintes opções de forma personalizada:

• Armazenamento
• Rede
• Registo
• Monitorização

O diagrama a seguir mostra a arquitetura técnica lógica dos componentes instalados em um pool de clusters padrão. Os clusters são isolados usando namespaces em clusters AKS.

Plataforma de computação nativa da nuvem modernizada

A versão mais recente do HDInsight é orquestrada usando AKS, o que permite que a plataforma seja mais robusta e capacita os usuários a lidar com os clusters de forma eficaz. O provisionamento de clusters no HDInsight no AKS é rápido e confiável, facilitando o gerenciamento de clusters e a execução de atualizações in-loco. Com vastas opções de SKU e modelos de assinatura flexíveis, a modernização de data lakehouses usando infraestrutura de código aberto, nativa da nuvem e escalável no HDInsight no AKS pode atender a todas as suas necessidades de análise.

Os principais recursos incluem:

• Criação e dimensionamento rápidos de clusters.
• Facilidade de manutenção e atualizações periódicas de segurança.
• Resiliência de cluster alimentada pelo AKS nativo da nuvem moderno.
• Suporte nativo para autenticação moderna com OAuth e Microsoft Entra ID.
• Integração profunda com os Serviços do Azure – Azure Data Factory (ADF), Power BI, Azure Monitor.

Conectividade com o HDInsight

O HDInsight no AKS pode se conectar perfeitamente ao HDInsight. Você pode colher os benefícios de usar os tipos de cluster necessários em um modelo híbrido. Interopere com tipos de cluster do HDInsight usando o mesmo armazenamento e metastore em ambas as ofertas.

O HDInsight oferece Apache Kafka®, Apache HBase® e outras cargas de trabalho de análise no fator de forma Plataforma como Serviço (PaaS).

Os seguintes cenários são suportados:

• Apache Flink conectando-se ao Apache HBase
• Apache Flink conectando-se ao Apache Kafka
• Apache Spark conectando-se ao Apache HBase
• Apache Spark conectando-se ao Apache Kafka

Arquitetura de segurança

O HDInsight no AKS é seguro por padrão. Ele permite que as empresas protejam ativos de dados corporativos com a Rede Virtual do Azure, criptografia e integração com o Microsoft Entra ID. Ele também atende aos padrões de conformidade mais populares do setor e do governo, mantendo os padrões do Azure. Com mais de 30 certificações que ajudam a proteger os dados, juntamente com atualizações periódicas, notificações de conselheiros de saúde, análises de integridade do serviço e os melhores padrões de segurança do Azure. O HDInsight no AKS oferece vários métodos para atender às necessidades de segurança da sua empresa por padrão. Para obter mais informações, consulte HDInsight sobre segurança AKS.

Disponibilidade da região (visualização pública)

Ásia-Pacífico

• Leste da Austrália
• Índia Central
• Ásia Leste
• Leste do Japão
• Coreia do Sul Central
• Sudeste Asiático

Europa

• França Central
• Europa do Norte
• Leste da Noruega
• Norte da Suíça
• Sul do Reino Unido
• Europa Ocidental

Américas

• Sul do Brasil
• Canadá Central
• E.U.A. Central
• E.U.A. Leste
• E.U.A. Leste 2
• E.U.A. Leste 2 - EUAP
• E.U.A. Centro-Sul
• E.U.A. Oeste
• E.U.A. Oeste 2
• EUA Oeste 3