Kafka API용 Azure Event Hubs에서 Spring Kafka 사용

이 자습서에서는 Azure Event Hubs로 메시지를 보내고 받기 위해 Kafka용 Azure Event Hubs를 사용하도록 Java 기반 Spring Cloud Stream Binder를 구성하는 방법을 보여 줍니다. 자세한 내용은 Apache Kafka 애플리케이션에서 Azure Event Hubs 사용을 참조 하세요.

이 자습서에서는 Microsoft Entra 인증 및 SAS(공유 액세스 서명) 인증이라는 두 가지 인증 방법을 포함합니다. 암호 없는 탭에는 Microsoft Entra 인증이 표시되고 연결 문자열 탭에 SAS 인증이 표시됩니다.

Microsoft Entra 인증은 Microsoft Entra ID에 정의된 ID를 사용하여 Kafka용 Azure Event Hubs에 연결하는 메커니즘입니다. Microsoft Entra 인증을 사용하면 중앙 위치에서 데이터베이스 사용자 ID 및 기타 Microsoft 서비스를 관리할 수 있으므로 권한 관리가 간소화됩니다.

SAS 인증은 Kafka용 Event Hubs에 대한 위임된 액세스에 Azure Event Hubs 네임스페이스의 연결 문자열 사용합니다. 공유 액세스 서명을 자격 증명으로 사용하도록 선택하는 경우 연결 문자열 직접 관리해야 합니다.

필수 조건

• Azure 구독 - 체험 구독 만들기

• JDK(Java Development Kit) 버전 8 이상.

• Apache Maven, 버전 3.2 이상.

• cURL 또는 유사한 HTTP 유틸리티를 사용하여 기능을 테스트합니다.

• Azure Cloud Shell 또는 Azure CLI 2.37.0 이상.

• Azure 이벤트 허브입니다. 없는 경우 Azure Portal을 사용하여 이벤트 허브를 만듭니다.

• Spring Boot 애플리케이션 없는 경우 Spring Initializr를 사용하여 Maven 프로젝트를 만듭니다. Maven 프로젝트를 선택하고 종속성 아래에서 Spring Web, Spring for Apache Kafka 및 Cloud Stream 종속성을 추가한 다음 Java 버전 8 이상을 선택합니다.

자격 증명 준비

az eventhubs namespace authorization-rule keys list \
    --resource-group <your_resource_group_name> \
    --namespace-name <your_eventhubs-namespace_name> \
    --name RootManageSharedAccessKey \
    --query "primaryConnectionString" \
    --output tsv

Azure Event Hubs에서 메시지 보내기 및 받기

Azure 이벤트 허브를 사용하면 Spring Cloud Azure를 사용하여 메시지를 보내고 받을 수 있습니다.

Spring Cloud Azure Starter 모듈을 설치하려면 pom.xml 파일에 다음 종속성을 추가합니다.

• Spring Cloud AZURE BOM(청구서)

  <dependencyManagement>
    <dependencies>
      <dependency>
        <groupId>com.azure.spring</groupId>
        <artifactId>spring-cloud-azure-dependencies</artifactId>
        <version>5.19.0</version>
        <type>pom</type>
        <scope>import</scope>
      </dependency>
    </dependencies>
  </dependencyManagement>
  

  참고 항목

  Spring Boot 2.x를 사용하는 경우 버전을 .로 설정 spring-cloud-azure-dependencies 해야 합니다 4.19.0. 이 BOM(청구서)은 pom.xml 파일의 섹션에서 구성 <dependencyManagement> 해야 합니다. 이렇게 하면 모든 Spring Cloud Azure 종속성이 동일한 버전을 사용합니다. 이 BOM에 사용되는 버전에 대한 자세한 내용은 어떤 버전의 Spring Cloud Azure를 사용해야 하는지를 참조하세요.

• Spring Cloud Azure Starter 아티팩트:

  <dependency>
     <groupId>com.azure.spring</groupId>
     <artifactId>spring-cloud-azure-starter</artifactId>
  </dependency>
  

애플리케이션 코딩

다음 단계를 사용하여 Azure Event Hubs를 사용하여 메시지를 생성하고 사용하도록 애플리케이션을 구성합니다.

1. application.properties 파일에 다음 속성을 추가하여 이벤트 허브 자격 증명을 구성합니다.

   • 암호 없음(권장)
   • 연결 문자열

   spring.cloud.stream.kafka.binder.brokers=${AZ_EVENTHUBS_NAMESPACE_NAME}.servicebus.windows.net:9093
   spring.cloud.function.definition=consume;supply
   spring.cloud.stream.bindings.consume-in-0.destination=${AZ_EVENTHUB_NAME}
   spring.cloud.stream.bindings.consume-in-0.group=$Default
   spring.cloud.stream.bindings.supply-out-0.destination=${AZ_EVENTHUB_NAME}
   

   팁

   버전을 spring-cloud-azure-dependencies:4.3.0사용하는 경우 값을 com.azure.spring.cloud.autoconfigure.kafka.AzureKafkaSpringCloudStreamConfiguration사용하여 속성을 spring.cloud.stream.binders.<kafka-binder-name>.environment.spring.main.sources 추가해야 합니다.

   이 4.4.0속성은 자동으로 추가되므로 수동으로 추가할 필요가 없습니다.

   다음 표에서는 구성의 필드에 대해 설명합니다.

   필드	설명
   spring.cloud.stream.kafka.binder.brokers	Azure Event Hubs 엔드포인트를 지정합니다.
   spring.cloud.stream.bindings.consume-in-0.destination	이 자습서에서는 이전에 만든 허브인 입력 대상 이벤트 허브를 지정합니다.
   spring.cloud.stream.bindings.consume-in-0.group	Azure Event Hubs 인스턴스를 만들 때 만든 기본 소비자 그룹을 사용하도록 설정할 $Default 수 있는 Azure Event Hubs의 소비자 그룹을 지정합니다.
   spring.cloud.stream.bindings.supply-out-0.destination	출력 대상 이벤트 허브를 지정합니다. 이 자습서의 경우 입력 대상과 동일합니다.

   참고 항목

   자동 토픽 만들기를 사용하도록 설정하는 경우 값이 1 이상으로 설정된 구성 항목을 spring.cloud.stream.kafka.binder.replicationFactor추가해야 합니다. 자세한 내용은 Spring Cloud Stream Kafka 바인더 참조 가이드를 참조하세요.

2. 시작 클래스 파일을 편집하여 다음 콘텐츠를 표시합니다.

   import org.slf4j.Logger;
   import org.slf4j.LoggerFactory;
   import org.springframework.boot.CommandLineRunner;
   import org.springframework.boot.SpringApplication;
   import org.springframework.boot.autoconfigure.SpringBootApplication;
   import org.springframework.context.annotation.Bean;
   import org.springframework.messaging.Message;
   import org.springframework.messaging.support.GenericMessage;
   import reactor.core.publisher.Flux;
   import reactor.core.publisher.Sinks;
   import java.util.function.Consumer;
   import java.util.function.Supplier;
   
   @SpringBootApplication
   public class EventHubKafkaBinderApplication implements CommandLineRunner {
   
       private static final Logger LOGGER = LoggerFactory.getLogger(EventHubKafkaBinderApplication.class);
   
       private static final Sinks.Many<Message<String>> many = Sinks.many().unicast().onBackpressureBuffer();
   
       public static void main(String[] args) {
           SpringApplication.run(EventHubKafkaBinderApplication.class, args);
       }
   
       @Bean
       public Supplier<Flux<Message<String>>> supply() {
           return ()->many.asFlux()
                          .doOnNext(m->LOGGER.info("Manually sending message {}", m))
                          .doOnError(t->LOGGER.error("Error encountered", t));
       }
   
       @Bean
       public Consumer<Message<String>> consume() {
           return message->LOGGER.info("New message received: '{}'", message.getPayload());
       }
   
       @Override
       public void run(String... args) {
           many.emitNext(new GenericMessage<>("Hello World"), Sinks.EmitFailureHandler.FAIL_FAST);
       }
   
   }
   

   팁

   이 자습서에서는 구성 또는 코드에 인증 작업이 없습니다. 그러나 Azure 서비스에 연결하려면 인증이 필요합니다. 인증을 완료하려면 Azure ID를 사용해야 합니다. Spring Cloud Azure는 코드 변경 없이 자격 증명을 가져오는 데 도움이 되는 Azure ID 라이브러리를 사용합니다 DefaultAzureCredential.

   DefaultAzureCredential은 여러 인증 방법을 지원하고 런타임에 사용할 방법을 결정합니다. 이 방법을 사용하면 앱이 환경별 코드를 구현하지 않고도 다양한 환경(예: 로컬 및 프로덕션 환경)에서 다양한 인증 방법을 사용할 수 있습니다. 자세한 내용은 DefaultAzureCredential을 참조 하세요.

   로컬 개발 환경에서 인증을 완료하려면 Azure CLI, Visual Studio Code, PowerShell 또는 기타 방법을 사용할 수 있습니다. 자세한 내용은 Java 개발 환경에서 Azure 인증을 참조 하세요. Azure 호스팅 환경에서 인증을 완료하려면 사용자 할당 관리 ID를 사용하는 것이 좋습니다. 자세한 내용은 Azure 리소스에 대한 관리 ID란?을 참조하세요.

3. 애플리케이션을 시작합니다. 다음 예제와 같은 메시지가 애플리케이션 로그에 게시됩니다.

   Kafka version: 3.0.1
   Kafka commitId: 62abe01bee039651
   Kafka startTimeMs: 1622616433956
   New message received: 'Hello World'
   

Azure Spring Apps에 배포

이제 Spring Boot 애플리케이션을 로컬로 실행했으므로 이제 프로덕션으로 이동해야 합니다. Azure Spring Apps 를 사용하면 코드를 변경하지 않고도 Spring Boot 애플리케이션을 Azure에 쉽게 배포할 수 있습니다. 이 서비스는 개발자가 코드에 집중할 수 있도록 Spring 애플리케이션의 인프라를 관리합니다. Azure Spring Apps는 포괄적인 모니터링 및 진단, 구성 관리, 서비스 검색, CI/CD 통합, 파란색-녹색 배포 등을 사용하여 수명 주기 관리를 제공합니다. Azure Spring Apps에 애플리케이션을 배포하려면 Azure Spring Apps에 첫 번째 애플리케이션 배포를 참조하세요.

다음 단계