AKS 上的 HDInsight 新功能？ (預覽)
注意
AKS 上的 Azure HDInsight 將於 2025 年 1 月 31 日退場。 請於 2025 年 1 月 31 日之前，將工作負載移轉至 Microsoft Fabric 或對等的 Azure 產品，以免工作負載突然終止。 訂用帳戶中剩餘的叢集將會停止，並會從主機移除。
在淘汰日期之前，只有基本支援可用。
重要
此功能目前為預覽功能。 Microsoft Azure 預覽版增補使用規定包含適用於 Azure 功能 (搶鮮版 (Beta)、預覽版，或尚未正式發行的版本) 的更多法律條款。 若需此特定預覽版的相關資訊，請參閱 Azure HDInsight on AKS 預覽版資訊。 如有問題或功能建議，請在 AskHDInsight 上提交要求並附上詳細資料，並且在 Azure HDInsight 社群上追蹤我們以獲得更多更新資訊。
在 AKS 上的 HDInsight 中，所有叢集管理和作業都原生支援個別叢集的 Azure 入口網站上的服務管理。
在 AKS 上的 HDInsight 中，引進了兩個新的概念：
- 叢集集區可用來分組和管理叢集。
- 叢集用於開放原始碼計算，它們裝載在叢集集區內。
叢集集區
AKS 上的 HDInsight 會在 Azure Kubernetes Service (AKS) 上執行。 最上層資源是叢集集區，並管理在相同 AKS 叢集上執行的所有叢集。 當您建立叢集集區時，會同時建立基礎 AKS 叢集，以裝載集區中的所有叢集。 叢集集區是叢集的邏輯群組，可協助跨多個叢集類型建立穩固的互通性，並允許企業在相同的虛擬網路中擁有叢集。 叢集集區可提供快速且符合成本效益地存取，存取隨選和大規模建立的所有叢集類型。在 AKS 基礎結構中，一個叢集集區對應至一個叢集。
叢集
叢集是個別的開放原始碼計算工作負載，例如 Apache Spark、Apache Flink 和 Trino，其可透過預先設定組態和幾次點擊，在幾分鐘內快速建立。 雖然在相同的叢集集區上執行，但每個叢集都可以有自己的設定，例如叢集類型、版本、節點 VM 大小、節點計數。 叢集會以自己的 DNS 和端點，在個別的計算資源上執行。
功能目前處於預覽狀態
下表列出目前為預覽狀態的 AKS 上的 HDInsight 功能。 預覽功能依字母順序排序。
| 區域 | 功能 |
|---|---|
| 基本項目 | 使用入口網站建立集區和叢集、Web 安全殼層 (ssh) 支援、在叢集建立期間選擇背景工作角色節點數目的能力 |
| 儲存體 | ADLS Gen2 儲存體支援 |
| Metastore | Trino、Spark 和 Flink 的外部中繼存放區支援，與 HDInsight 整合 |
| 安全性 | 支援 ARM RBAC、支援 MSI 型驗證、提供叢集存取權給其他使用者的選項 |
| 記錄和監視 | Azure 記錄分析中的記錄彙總，適用於透過受控 Prometheus 和 Grafana 的伺服器記錄、叢集和服務計量、支援 Azure 監視器中的伺服器計量、監視服務健康情況的服務狀態頁面 |
| 自動擴充 | 基於負載的自動調整，以及基於排程的自動調整 |
| 自訂和設定叢集 | 在叢集建立期間支援指令碼動作、支援程式庫管理、叢集建立後的服務組態設定 |
| Trino | 支援 Trino 目錄、Trino CLI 支援、DBeaver 支援查詢提交、新增或移除外掛程式和連接器、支援記錄查詢事件、支援 Trino 儀錶板中任何連接器的掃描查詢統計資料、支援 Trino 儀錶板來監視查詢、查詢快取、與 Power BI 整合、與 Apache Superset 整合、Redash、支援多個 連接器 |
| Flink | 支援 Flink 原生 Web UI、Flink 支援 HMS for DStream、使用 REST API 和 Azure 入口網站將作業提交至叢集、透過 Flink CLI 執行封裝為 JAR 檔案的程式、支援永續性儲存點、支援作業執行時更新設定選項、連線到多個 Azure 服務：Azure Cosmos DB、Azure Databricks、Azure Data Explorer、Azure 事件中樞、Azure IoT 中樞、Azure Pipelines、Azure Data Factory 工作流程協調管理員、HDInsight Kafka、使用 Flink CLI 和 CDC 搭配 Flink 將作業提交至叢集 |
| Spark | Jupyter Notebook、支援 Delta Lake 2.0、Zeppelin 支援、支援 ATS、支援 Yarn 歷程記錄伺服器介面、使用 SSH 提交作業、使用 SDK 和 Machine Learning Notebook 提交作業 |
功能藍圖
| 功能 | 預估發行時間表 | 狀態 |
|---|---|---|
| 自動調整 - 基於負載 - Trino | Q1 2024 | 已完成 |
| Spark 基於隨機感知負載的自動調整 | Q2 2024 | 進行中 |
| 就地升級 | Q2 2024 | 已完成 |
| 保留執行個體支援 | Q2 2024 | 進行中 |
| 中繼存放區的 MSI 型驗證 (SQL) | Q1 2024 | 進行中 |
| Spark 3.4 | Q2 2024 | 進行中 |
| Trino 426 | Q1 2024 | 已完成 |
| RBAC 的 Ranger | Q2 2024 | 進行中 |
| Flink 的應用程式模式支援 | Q1 2024 | 已完成 |
| Flink 1.17 | Q1 2024 | 已完成 |
| Spark ACID 支援 | Q1 2024 | 進行中 |
| Headnode、SSH 的可設定 SKU | Q2 2024 | 進行中 |
| Flink SQL 閘道支援 | Q1 2024 | 已完成 |
| AKS 上的 HDInsight 私人叢集 | Q1 2024 | 已完成 |
| Spark SQL 的 Ranger 支援 | Q4 2024 | 進行中 |
| 儲存層上的 Ranger ACL | Q4 2024 | 進行中 |
| 支援 One Lake 作為主要容器 | Q2 2024 | 進行中 |