다음을 통해 공유

HDInsight on AKS - 질문과 대답

  • 아티클

이 문서에서는 Azure HDInsight on AKS에 대한 몇 가지 일반적인 질문을 다룹니다.

참고 항목

2025년 1월 31일에 Azure HDInsight on AKS가 사용 중지됩니다. 2025년 1월 31일 이전에 워크로드가 갑자기 종료되지 않도록 워크로드를 Microsoft Fabric 또는 동등한 Azure 제품으로 마이그레이션해야 합니다. 구독의 나머지 클러스터는 호스트에서 중지되고 제거됩니다.

사용 중지 날짜까지 기본 지원만 사용할 수 있습니다.

Important

이 기능은 현지 미리 보기로 제공됩니다. Microsoft Azure 미리 보기에 대한 보충 사용 약관에는 베타 또는 미리 보기로 제공되거나 아직 일반 공급으로 릴리스되지 않은 Azure 기능에 적용되는 더 많은 약관이 포함되어 있습니다. 이 특정 미리 보기에 대한 자세한 내용은 Azure HDInsight on AKS 미리 보기 정보를 참조하세요. 질문이나 기능 제안이 있는 경우 AskHDInsight에서 세부 정보와 함께 요청을 제출하고 Azure HDInsight 커뮤니티에서 더 많은 업데이트를 확인하세요.

일반

  • HDInsight on AKS란?

    HDInsight on AKS는 Apache Flink(스트리밍용), Trino(임시 분석 및 BI용), Apache Spark와 같은 새로운 오픈 소스 분석 프로젝트를 통해 엔터프라이즈급 관리형 클러스터 서비스를 제공하는 새로운 HDInsight 버전입니다. 자세한 내용은 개요를 참조하세요.

  • HDInsight on AKS는 어떤 클러스터 형태를 지원하나요?

    HDInsight on AKS는 먼저 Trino, Apache Flink 및 Apache Spark를 지원합니다. 그러나 Kafka, Hive 등과 같은 다른 클러스터 형태는 로드맵에 있습니다.

  • HDInsight on AKS를 시작하려면 어떻게 해야 하나요?

    시작하려면 Azure Marketplace를 방문하여 Azure HDInsight on AKS 서비스를 검색하고 시작을 참조하세요.

  • VM의 기존 HDInsight와 현재 실행 중인 클러스터는 어떻게 되나요?

    기존 HDInsight(VM의 HDInsight)에는 변경 내용이 없습니다. 모든 기존 클러스터는 계속 실행되며 새 HDInsight 클러스터를 계속 만들고 크기 조정할 수 있습니다.

  • HDInsight on AKS에서는 어떤 운영 체제가 지원되나요?

    HDInsight on AKS는 Mariner OS를 기반으로 합니다. 자세한 내용은 OS 버전을 참조하세요.

  • HDInsight on AKS를 사용할 수 있는 모든 지역은 어디인가요?

    지원되는 지역 목록은 지역 가용성을 참조하세요.

  • HDInsight on AKS 클러스터에 배포하는 데 드는 비용은 얼마인가요?

    가격 책정에 대한 자세한 내용은 HDInsight on AKS 가격 책정을 참조하세요.

클러스터 관리

  • 여러 클러스터를 동시에 실행할 수 있나요?

    예. 클러스터 풀당 원하는 만큼의 클러스터를 동시에 실행할 수 있습니다. 그러나 구독 할당량에 따른 제약 조건이 없는지 확인합니다. 클러스터 풀에 허용되는 최대 노드 수는 250개(공개 미리 보기)입니다.

  • 내 클러스터에 더 많은 플러그 인/라이브러리를 설치하거나 추가할 수 있나요?

    예, 클러스터 형태에 따라 사용자 지정 플러그 인과 라이브러리를 설치할 수 있습니다.

  • 내 클러스터에 SSH를 통해 연결할 수 있나요?

    예, webssh를 통해 클러스터에 SSH를 통해 쿼리를 실행하고 해당 위치에서 직접 작업을 제출할 수 있습니다.

메타 저장소

  • 외부 메타스토어를 사용하여 내 클러스터에 연결할 수 있나요?

    예, 외부 메타스토어를 사용할 수 있습니다. 그러나 외부 사용자 지정 메타스토어로는 Azure SQL Database만 지원됩니다.

  • 여러 클러스터에서 메타스토어를 공유할 수 있나요?

    예, AKS의 여러 HDInsight에서 메타스토어를 공유할 수 있습니다.

  • 지원되는 Hive 메타스토어 버전은 무엇인가요?

    Hive 메타스토어 버전 3.1.2

워크로드

Trino

  • Trino란?

    Trino는 중앙 데이터 웨어하우스로 이동하지 않고도 다양한 데이터 원본에 있는 데이터를 쿼리할 수 있는 오픈 소스 페더레이션된 분산 SQL 쿼리 엔진입니다. 새로운 언어를 알아볼 필요 없이 ANSI SQL을 사용하여 데이터를 쿼리할 수 있습니다. 자세한 내용은 Trino 개요를 참조하세요.

  • 어떤 커넥터를 지원하나요?

    HDInsight on AKS Trino는 여러 커넥터를 지원합니다. 자세한 내용은 Trino 커넥터 목록을 참조하세요. 오픈 소스 버전에서 새 커넥터를 사용할 수 있게 되면 계속해서 새 커넥터를 추가하고 있습니다.

  • 기존 클러스터에 카탈로그를 추가할 수 있나요?

    예, 기존 클러스터에 지원되는 카탈로그를 추가할 수 있습니다. 자세한 내용은 기존 클러스터에 카탈로그 추가를 참조하세요.

  • Apache Flink란?

    Apache Flink는 스트림을 처리하고 제한되지 않은 데이터 스트림과 제한된 데이터 스트림에 대한 상태 저장 계산을 수행하기 위한 동급 최고의 오픈 소스 분석 엔진입니다. 이는 메모리 내 속도와 규모에 관계없이 계산을 수행할 수 있습니다. HDInsight on AKS의 Flink는 관리 오픈 소스 Apache Flink를 제공합니다. 자세한 내용은 Flink 개요를 참조하세요.

  • Apache Flink에서 세션 모드와 앱 모드를 모두 지원하나요?

    HDInsight on AKS에서 Flink는 현재 세션 모드 클러스터를 지원합니다.

  • 상태 백 엔드 관리란 무엇이며 HDInsight on AKS에서 어떻게 수행되나요?

    백 엔드는 상태가 저장되는 위치를 결정합니다. 검사점이 활성화되면 데이터 손실을 방지하고 일관되게 복구하기 위해 검사점에 상태가 유지됩니다. 상태가 내부적으로 표현되는 방식과 검사점에서 지속되는 방식과 위치는 선택한 상태 백 엔드에 따라 다릅니다. 자세한 내용은 Flink 개요를 참조하세요.

Apache Spark

  • Apache Spark란?

    Apache Spark는 대규모 데이터 세트에 대한 처리 작업을 신속하게 수행할 수 있고 자체적으로 또는 다른 분산 컴퓨팅 도구와 함께 여러 컴퓨터에 데이터 처리 작업을 분산할 수 있는 데이터 처리 프레임워크입니다.

  • Spark에서는 어떤 언어 API가 지원되나요?

    Azure HDInsight on AKS는 Python 및 Scala를 지원합니다.

  • HDInsight on AKS Spark에서 외부 메타스토어가 지원되나요?

    HDInsight on AKS는 외부 메타스토어 연결을 지원합니다. 현재는 Azure SQL DB만 외부 메타스토어로 지원됩니다.

  • HDInsight on AKS Spark에서 작업을 제출하는 다양한 방법은 무엇인가요?

    Jupyter Notebook, Zeppelin Notebook, SDK 및 클러스터 터미널을 사용하여 HDInsight on AKS Spark에서 작업을 제출할 수 있습니다. 자세한 내용은 HDInsight on AKS에서 Spark 클러스터에 대한 작업 제출 및 관리를 참조하세요.