read_pulsar 스트리밍 테이블 반환 함수

적용 대상: Databricks SQL Databricks Runtime 14.1 이상

Pulsar에서 읽은 레코드가 있는 테이블을 반환합니다.

테이블 반환 함수는 일괄 처리 쿼리가 아닌 스트리밍만 지원합니다.

구문

read_pulsar ( { option_key => option_value } [, ...] )

인수

이 함수에는 옵션 키에 대한 명명된 매개 변수 호출 이 필요합니다.

옵션 serviceUrl 이며 topic 필수입니다.

인수에 대한 설명은 여기에서 간략하게 설명합니다. 확장 설명은 구조적 스트리밍 펄서 설명서를 참조하세요.

다음 인수는 펄서 클라이언트의 인증에 사용됩니다.

이러한 인수는 펄서 허용 제어의 구성 및 인증에 사용되며, 허용 제어를 사용하도록 설정한 경우에만 펄서 관리자 구성이 필요합니다(maxBytesPerTrigger가 설정된 경우).

반품

다음 스키마가 있는 펄서 레코드 테이블입니다.

• __key STRING NOT NULL: 펄서 메시지 키입니다.

• value BINARY NOT NULL: 펄서 메시지 값입니다.

  참고: Avro 또는 JSON 스키마가 있는 토픽의 경우 콘텐츠를 이진 값 필드에 로드하는 대신 펄서 토픽의 필드 이름과 필드 형식을 유지하도록 콘텐츠가 확장됩니다.

• __topic STRING NOT NULL: 펄서 토픽 이름입니다.

• __messageId BINARY NOT NULL: 펄서 메시지 ID입니다.

• __publishTime TIMESTAMP NOT NULL: 펄서 메시지 게시 시간입니다.

• __eventTime TIMESTAMP NOT NULL: 펄서 메시지 이벤트 시간입니다.

• __messageProperties MAP<STRING, STRING>: 펄서 메시지 속성입니다.

예제

-- Streaming from Pulsar
> CREATE STREAMING TABLE testing.streaming_table AS
  SELECT * FROM STREAM read_pulsar(
      serviceUrl => 'pulsar://broker.example.com:6650',
      startingOffsets => 'earliest',
      topic => 'my-topic');

-- Streaming Ingestion from Pulsar with authentication
> CREATE STREAMING TABLE testing.streaming_table AS
  SELECT * FROM STREAM read_pulsar(
        serviceUrl => 'pulsar://broker.example.com:6650',
        startingOffsets => 'earliest',
        topic => 'my-topic',
        pulsarClientAuthPluginClassName => 'org.apache.pulsar.client.impl.auth.AuthenticationKeyStoreTls',
        pulsarClientAuthParams => 'keyStoreType:JKS,keyStorePath:/var/private/tls/client.keystore.jks,keyStorePassword:clientpw'
        );

The data can now to be queried from the testing.streaming_table for further analysis.

관련된 문서

• 스트리밍 테이블 생성하기
• read_files 테이블 반환 함수
• read_kafka 테이블 반환 함수
• 스트리밍 테이블 반환 함수 read_kinesis