자동으로 토픽을 작성하기 위해 HDInsight에서 Apache Kafka를 구성하는 방법

기본적으로 HDInsight의 Apache Kafka는 자동 토픽 생성을 허용하지 않습니다. Apache Ambari를 사용하여 기존 클러스터에 자동 토픽 만들기를 사용할 수 있습니다. Azure Resource Manager 템플릿을 사용하여 새로운 Kafka 클러스터를 만들 때 자동 토픽 만들기도 사용할 수 있습니다.

Apache Ambari 웹 UI

Ambari 웹 UI를 통해 기존 클러스터에서 자동 토픽 생성을 사용할 수 있게 하려면 다음 단계를 사용합니다.

1. Azure Portal에서 Kafka 클러스터를 선택합니다.

2. 클러스터 대시보드에서 Ambari 홈을 선택합니다.

   

   메시지가 표시되면 클러스터에 대한 로그인(관리자) 자격 증명을 사용하여 인증을 받습니다. 대신 Kafka 클러스터의 이름이 있는 위치에서 CLUSTERNAME 직접 https://CLUSTERNAME.azurehdinsight.net/ Ambari에 연결할 수 있습니다.

3. 페이지 왼쪽 목록에서 Kafka 서비스를 선택합니다.

   

4. 페이지 중간의 Config를 선택합니다.

   

5. 필터 필드에 auto.create 값을 입력합니다.

   

   이 설정은 속성 목록을 필터링하고 auto.create.topics.enable 설정을 표시합니다.

6. auto.create.topics.enable 값을 true로 변경하고 저장을 선택합니다. 메모를 추가하고 저장을 다시 선택합니다.

   

7. Kafka 서비스를 선택하고 다시 시작을 선택한 후 영향을 받는 모든 서비스 다시 시작을 선택합니다. 메시지가 나타나면 모두 다시 시작 확인을 선택합니다.

   

리소스 관리자 템플릿

Azure Resource Manager 템플릿을 사용하여 Kafka 클러스터를 만들 때 kafka-broker에 추가하여 직접 auto.create.topics.enable을 설정할 수 있습니다. 다음 JSON 코드 조각은 이 값을 true로 설정하는 방법을 보여줍니다.

"clusterDefinition": {
    "kind": "kafka",
    "configurations": {
        "gateway": {
            "restAuthCredential.isEnabled": true,
            "restAuthCredential.username": "[parameters('clusterLoginUserName')]",
            "restAuthCredential.password": "[parameters('clusterLoginPassword')]"
        },
        "kafka-broker": {
            "auto.create.topics.enable": "true"
        }
    }
}

다음 단계

이 문서에서는 HDInsight에서 Apache Kafka에 대한 자동 화제 생성을 활성화하는 방법을 배웠습니다. Kafka 작업에 대해 자세히 알아보려면 다음 링크를 참조하세요.

• Apache Kafka 로그 분석
• Apache Kafka 클러스터 간 데이터 복제