Novidades do HDInsight no AKS? (Visualização)
Observação
Desativaremos o Microsoft Azure HDInsight no AKS em 31 de janeiro de 2025. Para evitar o encerramento abrupto das suas cargas de trabalho, você precisará migrá-las para o Microsoft Fabric ou para um produto equivalente do Azure antes de 31 de janeiro de 2025. Os clusters restantes em sua assinatura serão interrompidos e removidos do host.
Somente o suporte básico estará disponível até a data de desativação.
Importante
Esse recurso está atualmente na visualização. Os Termos de uso complementares para versões prévias do Microsoft Azure incluem mais termos legais que se aplicam aos recursos do Azure que estão em versão beta, em versão prévia ou ainda não lançados em disponibilidade geral. Para obter informações sobre essa versão prévia específica, confira Informações sobre a versão prévia do Azure HDInsight no AKS. Caso tenha perguntas ou sugestões de recursos, envie uma solicitação no AskHDInsight com os detalhes e siga-nos para ver mais atualizações sobre a Comunidade do Azure HDInsight.
No HDInsight no AKS, todas as operações e gestão de clusters têm suporte nativo para gerenciamento de serviços no portal do Azure para clusters individuais.
No HDInsight no AKS, são introduzidos dois novos conceitos:
- Os Pools de Cluster são usados para agrupar e gerenciar clusters.
- Os Clusters são usados para computações de código aberto e são hospedados em um pool de clusters.
Pools de Clusters
O HDInsight no AKS é executado no Serviço de Kubernetes do Azure (AKS). O recurso de nível superior é o Pool de Clusters e gerencia todos os clusters em execução no mesmo cluster do AKS. Quando você cria um pool de clusters, um cluster do AKS subjacente é criado ao mesmo tempo para hospedar todos os clusters no pool. Os pools de clusters são um agrupamento lógico de clusters, que ajuda a criar uma interoperabilidade robusta entre vários tipos de cluster e permite que as empresas tenham os clusters na mesma rede virtual. Os pools de clusters fornecem acesso rápido e econômico a todos os tipos de clusters criados sob demanda e em escala. Um pool de clusters corresponde a um cluster na infraestrutura do AKS.
Clusters
Os Clusters são cargas de trabalho de computação individuais de código aberto, como o Apache Spark, Apache Flink e Trino, que podem ser criadas rapidamente em poucos minutos com configurações predefinidas e poucos cliques. Embora seja executado no mesmo pool de clusters, cada cluster pode ter suas próprias configurações, como tipo de cluster, versão, tamanho da VM do nó e contagem de nós. Os clusters estão em execução em recursos de computação separados com seu próprio DNS e pontos de extremidade.
Recursos atualmente em versão prévia
A lista de tabelas a seguir mostra os recursos do HDInsight no AKS que estão atualmente em versão prévia. As versões prévias dos recursos estão classificadas em ordem alfabética.
| Área | Recursos |
|---|---|
| Conceitos básicos | Criar Pool e clusters usando portal, suporte Web secure shell (ssh), capacidade de escolher o número de nós de trabalho durante a criação do cluster |
| Armazenamento | Suporte de Armazenamento do ADLS Gen2 |
| Metastore | Suporte a Metastore externo para Trino, Spark e Flink, integração com o HDInsight |
| Segurança | Suporte para ARM RBAC, Suporte para autenticação baseada em MSI, Opção para fornecer acesso de cluster a outros usuários |
| Registro em log e monitoramento | Agregação de log na análise de log do Azure, para logs de servidor, métricas de Cluster e Serviço por meio do Prometheus e Grafana Gerenciados, métricas de Servidor de suporte do Azure Monitor, página de Status do Serviço para monitorar a Integridade do serviço |
| Dimensionamento automático | Dimensionamento Automático baseado em carga e Dimensionamento Automático baseado em Agendamento |
| Personalizar e Configurar Clusters | Suporte para ações de script durante a criação de cluster, Suporte para gerenciamento de biblioteca, Definições de Configuração de serviço após a criação do cluster |
| Trino | Suporte para o catálogos do Trino, Suporte para a CLI do Trino, suporte do DBeaver para envio de consultas, adição ou remoção de plugins e conectores, Suporte para consultas de registro de eventos, Suporte para estatísticas de consulta de verificação para o Conector no painel do Trino, Suporte para o painel do Trino para monitorar consultas, Armazenamento em cache de consultas, Integração com o Power BI, Integração com o Apache Superset, Redash, suporte para vários conectores |
| Flink | Suporte para interface do usuário da Web nativa do Flink, suporte do Flink com o HMS para DStream, envio de trabalhos para o cluster usando a API REST e o portal do Azure, Execução de programas empacotados como arquivos JAR por meio da CLI do Flink, suporte para pontos de salvamento persistentes, suporte para atualização das opções de configuração enquanto o trabalho está em execução, conexão com vários serviços do Azure: Azure Cosmos DB, Azure Databricks, Azure Data Explorer, Hubs de Eventos do Azure, Hub IoT do Azure, Azure Pipelines, Gerenciador de Orquestração de Fluxo de Trabalho do Azure Data Factory,, HDInsight do Kafka, envio de trabalhos para o cluster usando a CLI do Flink e CDC com o Flink |
| Spark | Jupyter Notebook, suporte para o Delta lake 2.0, suporte do Zeppelin, suporte do ATS, suporte para interface de servidor de Histórico do Yarn, envio de trabalho usando o SSH, envio de trabalho usando o SDK e Notebook do Machine Learning |
Roteiro de recursos
| Recurso | Linha do tempo de versão estimada | Status |
|---|---|---|
| Escala Automática - Baseado em Carga - Trino | Q1 2024 | Concluído |
| Embaralhar o dimensionamento automático baseado em carga com reconhecimento para o Spark | Q2 2024 | Em Andamento |
| Atualização no Local | Q2 2024 | Concluído(a) |
| Suporte à instância reservada | Q2 2024 | Em Andamento |
| Autenticação baseada em MSI para o Metastore (SQL) | Q1 2024 | Em Andamento |
| Spark 3.4 | Q2 2024 | Em Andamento |
| Trino 426 | Q1 2024 | Concluído |
| Ranger para o RBAC | Q2 2024 | Em Andamento |
| Suporte ao modo aplicativo para Flink | Q1 2024 | Concluído(a) |
| Flink 1.17 | Q1 2024 | Concluído |
| Suporte ao ACID do Spark | Q1 2024 | Em Andamento |
| SKUs configuráveis para o Headnode, SSH | Q2 2024 | Em Andamento |
| Suporte ao Gateway do SQL do Flink | Q1 2024 | Concluído |
| Clusters privados para o HDInsight no AKS | Q1 2024 | Concluído(a) |
| Suporte do Ranger para o Spark SQL | T4 2024 | Em Andamento |
| ACLs do Ranger na camada de armazenamento | T4 2024 | Em Andamento |
| Suporte para o One Lake como contêiner primário | Q2 2024 | Em Andamento |