HDInsight에서 Apache Kafka에 대한 확장성 및 스토리지 구성
HDInsight에서 Apache Kafka에 사용된 관리 디스크 수를 구성하는 방법을 알아봅니다.
HDInsight의 Kafka는 HDInsight 클러스터에서 가상 머신의 로컬 디스크를 사용합니다. Kafka는 입출력이 매우 많으며 높은 처리량을 제공하고 노드당 더 많은 스토리지를 제공하기 위해 Azure Managed Disks를 사용합니다. Kafka에는 기존 VHD(가상 하드 드라이브)가 사용된 경우 각 노드는 1TB로 제한됩니다. 관리 디스크를 통해 여러 디스크를 사용하여 클러스터에서 노드당 16TB를 달성할 수 있습니다.
다음 다이어그램은 관리 디스크가 있기 전, HDInsight의 Kafka와 관리 디스크가 있는 HDInsight의 Kafka를 비교하여 보여줍니다.
관리 디스크 구성: Azure Portal
HDInsight 클러스터 만들기의 단계에 따라 포털을 사용하여 클러스터를 만드는 일반적인 단계를 이해합니다. 포털 생성 프로세스를 완료하지 마세요.
구성 및 가격 책정 섹션에서 노드 수 필드를 사용하여 디스크 수를 구성합니다.
참고 항목
관리 디스크 유형은 표준 (HDD) 또는 프리미엄 (SSD)일 수 있습니다. 프리미엄 디스크는 DS 및 GS 시리즈 VM에 사용됩니다. 다른 모든 VM 유형은 표준을 사용합니다.
관리 디스크 구성: Resource Manager 템플릿
Kafka 클러스터에서 작업자 노드에 사용된 디스크 수를 제어하려면 템플릿의 다음 섹션을 사용합니다.
"dataDisksGroups": [
{
"disksPerNode": "[variables('disksPerWorkerNode')]"
}
],
다음 단계
HDInsight에서 Apache Kafka를 사용하는 방법에 대한 자세한 내용은 다음 문서를 참조하세요.