Azure HDInsight on AKS에 보관된 릴리스 정보

Azure HDInsight on AKS는 Azure에서 오픈 소스 분석을 위해 기업 고객들 사이에서 가장 인기 있는 서비스 중 하나입니다. 릴리스 정보를 구독하려면 이 GitHub 리포지토리에서 릴리스를 확인하세요.

릴리스 날짜: 2024년 8월 5일

이 릴리스는 다음에 적용됩니다.

• 클러스터 풀 버전: 1.2
• 클러스터 버전: 1.2.1
• AKS 버전: 1.27

새로운 기능

MSI 기반 SQL 인증 사용자는 이제 사용자 ID 암호 인증 대신 MSI를 사용하여 외부 Azure SQL DB 메타스토어를 인증할 수 있습니다. 이 기능은 메타스토어를 사용하여 클러스터 연결을 더 안전하게 보호하는 데 도움이 됩니다.

헤드 노드, SSH 노드의 구성 가능한 VM SKU 이 기능을 사용하면 사용자가 헤드 노드, 작업자 노드 및 SSH 노드에 대한 특정 SKU를 선택할 수 있으므로 사용 사례에 따라 유연하게 선택할 수 있으며 TCO(총 소유 비용)를 낮출 수 있습니다.

클러스터의 여러 MSI 사용자는 클러스터 관리자 작업 및 작업 관련 리소스 액세스를 위해 여러 MSI를 구성할 수 있습니다. 이 기능을 사용하면 사용자가 스토리지 계정에 있는 클러스터 및 데이터에 대한 액세스를 구분하고 제어할 수 있습니다. 예를 들어 스토리지 계정의 데이터에 액세스하기 위한 MSI 1개와 클러스터 작업을 위한 전용 MSI가 있습니다.

업데이트됨

스크립트 작업 이제 Sudo 사용자 권한으로 스크립트 작업을 추가할 수 있습니다. 이제 사용자는 사용자 지정 jar를 포함하여 여러 종속성을 설치해 필요에 따라 클러스터를 사용자 지정할 수 있습니다.

라이브러리 관리 Maven 리포지토리 바로 가기 기능이 이 릴리스의 라이브러리 관리에 추가되었습니다. 이제 사용자는 오픈 소스 리포지토리에서 직접 Maven 종속성을 설치할 수 있습니다.

Spark 3.4 Spark 3.4 업데이트는 다음과 같은 다양한 새로운 기능을 제공합니다.

• 향상된 API 기능
• 구조적 스트리밍 개선 사항
• 개선된 유용성 및 개발자 환경

알려진 문제

• 워크로드 ID 제한 사항:
  • 워크로드 ID로 전환할 때 알려진 제한 사항이 있습니다. 이러한 제한 사항은 FIC 작업의 권한에 중요한 특성으로 인해 발생합니다. 사용자는 리소스 그룹을 삭제하여 클러스터 삭제를 수행할 수 없습니다. 클러스터 삭제 요청은 FIC/삭제 권한이 있는 애플리케이션/사용자/주체에 의해 트리거되어야 합니다. FIC 삭제가 실패할 경우 개략적인 클러스터 삭제도 실패합니다.
  • UAMI(사용자 할당 관리 ID) 지원 – UAMI당 FIC가 20개로 제한됩니다. 하나의 ID에 대해 20개의 페더레이션된 자격 증명만 만들 수 있습니다. HDInsight on AKS 클러스터에서 FIC(페더레이션된 ID 자격 증명) 및 SA는 일대일 매핑을 가지며 MSI에 대해 20개의 SA만 만들 수 있습니다. 더 많은 클러스터를 만들려면 제한 사항을 극복하기 위해 다른 MSI를 제공해야 합니다.
  • 현재 이 지역에서 만들어진 사용자 할당 관리 ID에서는 페더레이션된 ID 사용자 인증 정보 만들기가 지원되지 않습니다.

운영 체제 버전

• Mariner OS 2.0

워크로드 버전

지원되는 Java 및 Scala 버전

미리 보기는 다음 지역에서 사용할 수 있습니다.

더 궁금한 점이 있으면 Azure 지원에 문의하거나 지원 옵션 페이지를 참조하세요. 제품별 피드백이 있는 경우 aka.ms/askhdinsight에 글을 남겨주세요.

릴리스 날짜: 2024년 3월 20일

이 릴리스는 다음에 적용됩니다.

• 클러스터 풀 버전: 1.1
• 클러스터 버전: 1.1.1
• AKS 버전: 1.27

새로운 기능

Apache Flink 애플리케이션 모드 클러스터

애플리케이션 모드 클러스터는 대규모 및 장기 실행 작업을 위한 전용 리소스를 지원하도록 설계되었습니다. 리소스 집약적이거나 광범위한 데이터 처리 작업이 있는 경우 애플리케이션 모드 클러스터를 사용할 수 있습니다. 이 모드를 사용하면 특정 Apache Flink 애플리케이션에 전용 리소스를 할당하여 대규모 워크로드를 효과적으로 처리하는 데 필요한 컴퓨팅 성능과 메모리를 확보할 수 있습니다.

자세한 내용은 HDInsight on AKS에 대한 Apache Flink 애플리케이션 모드 클러스터를 참조하세요.

HDInsight on AKS의 프라이빗 클러스터

이제 프라이빗 클러스터 및 아웃바운드 클러스터 설정을 사용하여 HDInsight on AKS 클러스터 풀 및 클러스터의 수신 및 송신 트래픽을 제어할 수 있습니다.

• 부하 분산 장치와 함께 아웃바운드 클러스터 풀을 사용하도록 선택한 경우 Azure Firewall 또는 NSG(네트워크 보안 그룹)를 사용하여 송신 트래픽을 제어합니다.
• 사용자 정의 라우팅이 포함된 아웃바운드 클러스터 풀을 사용하여 서브넷 수준에서 송신 트래픽을 제어합니다.
• 프라이빗 AKS 클러스터 기능 사용 - AKS 컨트롤 플레인 또는 API 서버에 내부 IP 주소가 있는지 확인합니다. AKS 컨트롤 플레인/API 서버와 HDInsight on AKS 노드 풀(클러스터) 간의 네트워크 트래픽은 개인 네트워크에만 유지됩니다.
• 클러스터에 대한 공용 IP를 만들지 마세요. 클러스터에서 프라이빗 수신 기능을 사용합니다.

자세한 내용은 HDInsight on AKS 클러스터 풀 및 클러스터에서 네트워크 트래픽 제어를 참조하세요.

현재 위치 업그레이드

최신 소프트웨어 업데이트로 클러스터와 클러스터 풀을 업그레이드합니다. 즉, 클러스터를 다시 만들지 않고도 최신 클러스터 패키지 핫픽스, 보안 업데이트 및 AKS 패치를 즐길 수 있습니다. 자세한 내용은 HDInsight on AKS 클러스터 및 클러스터 풀 업그레이드를 참조하세요.

알려진 문제

• 워크로드 ID 제한 사항:
  • 워크로드 ID로 전환할 때 알려진 제한 사항이 있습니다. 이러한 제한 사항은 FIC 작업의 권한에 중요한 특성으로 인해 발생합니다. 사용자는 리소스 그룹을 삭제하여 클러스터 삭제를 수행할 수 없습니다. 클러스터 삭제 요청은 FIC/삭제 권한이 있는 애플리케이션/사용자/주체에 의해 트리거되어야 합니다. FIC 삭제가 실패할 경우 개략적인 클러스터 삭제도 실패합니다.
  • UAMI(사용자 할당 관리 ID) 지원 – UAMI당 FIC가 20개로 제한됩니다. 하나의 ID에 대해 20개의 페더레이션된 자격 증명만 만들 수 있습니다. HDInsight on AKS 클러스터에서 FIC(페더레이션된 ID 자격 증명) 및 SA는 일대일 매핑을 가지며 MSI에 대해 20개의 SA만 만들 수 있습니다. 더 많은 클러스터를 만들려면 제한 사항을 극복하기 위해 다른 MSI를 제공해야 합니다.
  • 현재 이 지역에서 만들어진 사용자 할당 관리 ID에서는 페더레이션된 ID 사용자 인증 정보 만들기가 지원되지 않습니다.

운영 체제 버전

• Mariner OS 2.0

워크로드 버전

지원되는 Java 및 Scala 버전

미리 보기는 다음 지역에서 사용할 수 있습니다.

더 궁금한 점이 있으면 Azure 지원에 문의하거나 지원 옵션 페이지를 참조하세요. 제품별 피드백이 있는 경우 aka.ms/askhdinsight에 글을 남겨주세요.

릴리스 날짜: 2024년 2월 5일

이 릴리스는 다음에 적용됩니다.

• 클러스터 풀 버전: 1.1
• 클러스터 버전: 1.1.0
• AKS 버전: 1.27

새로운 기능

• 워크로드 ID는 1.1의 클러스터 풀에 대해 기본적으로 지원됩니다.
• Trino 클러스터는 1.1.0 릴리스의 Trino 426을 지원합니다.
  • 이제 HDInsight on AKS에는 커뮤니티에서 제공한 몇 가지 주목할만한 개선 사항과 함께 Trino 426까지의 모든 변경 내용이 포함됩니다. Trino에 대한 자세한 내용은 여기를 참조하세요.
• Trino 클러스터 형태는 이제 1.1.0 릴리스부터 로드 기반 자동 크기 조정을 지원합니다.
  • HDInsight on AKS의 Trino는 이제 부하 기반 자동 크기 조정을 지원하여 클러스터를 더욱 비용 효율적으로 만듭니다. 여기에서 자세히 알아보세요.
• Trino 클러스터 형태로 간소화된 하이브 메타스토어 및 카탈로그 구성 추가
  • AKS의 HDInsight는 Trino 클러스터에 대한 외부 Hive 메타스토어 구성을 간소화했습니다. 이제 config.properties에서 외부 메타스토어를 지정하고 단일 매개 변수를 사용하여 각 카탈로그에 대해 사용하도록 설정할 수 있습니다. 여기에서 향상된 기능을 자세히 알아보세요.
• Trino 클러스터 형태에 분할된 SQL 커넥터 추가
• Flink 클러스터는 이제 HDInsight on AKS 1.1.0 릴리스에서 Flink 1.17.0을 지원합니다.
  • HDInsight on AKS는 이제 검사점, 하위 작업 수준 Flame 그래프, 워터마크 맞춤이 크게 개선된 Flink 1.17.0 릴리스를 지원합니다. Flink 1.17 릴리스에 대해 여기에서 자세히 알아봅니다.
• Flink SQL 게이트웨이는 이제 Flink 세션 클러스터가 있는 HDInsight on AKS 1.1.0 릴리스에서 지원됩니다.

버그 수정 및 CVE

• 이 릴리스에는 플랫폼 및 오픈 소스 구성 요소 전반에 걸쳐 몇 가지 중요한 CVE 수정 사항이 포함되어 있습니다.
• Trino 클러스터 형태는 자동으로 캐싱에서 시스템 테이블을 제외합니다.
• Trino 클러스터 모양은 Power BI 타임스탬프 시간대 처리를 개선합니다.

알려진 문제

• 워크로드 ID 제한 사항:
  • 워크로드 ID로 전환할 때 알려진 제한 사항이 있습니다. 이는 FIC 작업의 권한에 중요한 특성 때문입니다. 사용자는 리소스 그룹을 삭제하여 클러스터 삭제를 수행할 수 없습니다. 클러스터 삭제 요청은 FIC/삭제 권한이 있는 애플리케이션/사용자/주체에 의해 트리거되어야 합니다. FIC 삭제가 실패할 경우 개략적인 클러스터 삭제도 실패합니다.

새 지역

• 동아시아

운영 체제 버전

• Mariner OS 2.0

워크로드 버전

지원되는 Java 및 Scala 버전

미리 보기는 다음 지역에서 사용할 수 있습니다.

더 궁금한 점이 있으면 Azure 지원에 문의하거나 지원 옵션 페이지를 참조하세요. 제품별 피드백이 있는 경우 aka.ms/askhdinsight에 글을 남겨주세요.

다음 단계

• Azure HDInsight on AKS: FAQ(질문과 대답)
• 클러스터 풀 및 클러스터 만들기

릴리스 날짜: 2023년 12월 13일

이 핫픽스 릴리스는 다음에 적용됩니다.

• 클러스터 풀 버전: 1.0
• 클러스터 버전: 1.0.6

알려진 문제

• 보안 테넌트 사용자 인터페이스 지원

  • 이 릴리스는 HDInsight on AKS 클러스터에 대한 오픈 소스 구성 요소 웹 URL에 액세스할 수 없는 문제를 해결합니다. 이 수정 사항을 적용하려면 Azure 지원에 문의하여 구독/테넌트에서 사용하도록 설정하세요.

  핫픽스를 적용하는 방법

  • 클러스터 다시 생성
    • 이 핫픽스를 적용하려면 기존 사용자가 기존 클러스터 풀에서 클러스터를 다시 만들어야 합니다.

운영 체제 버전

• Mariner OS 2.0

워크로드 버전

지원되는 Java 및 Scala 버전

미리 보기는 다음 지역에서 사용할 수 있습니다.

더 많은 질문이 있으면 Azure 지원에 문의하거나 지원 옵션 페이지를 참조하세요.