read_kinesis 스트리밍 테이블 반환 함수

적용 대상: Databricks SQL Databricks Runtime 13.3 LTS 이상

하나 이상의 스트림에서 Kinesis에서 읽은 레코드가 있는 테이블을 반환합니다.

구문

read_kinesis ( { parameter => value } [, ...] )

인수

read_kinesis 에는 명명된 매개 변수 호출이 필요합니다.

유일한 필수 인수는 .입니다 streamName. 다른 모든 인수는 선택 사항입니다.

인수에 대한 설명은 여기에서 간략하게 설명합니다. 자세한 내용은 Amazon Kinesis 설명서를 참조하세요.

AWS에 연결하고 인증하는 다양한 연결 옵션이 있습니다. awsAccessKeyawsSecretKey- 비밀 함수를 사용하여 함수 인수에 지정하거나, 인수에 수동으로 설정하거나, 아래에 표시된 대로 환경 변수로 구성할 수 있습니다. roleArn, roleExternalIDroleSessionName 인스턴스 프로필을 사용하여 AWS를 인증하는 데 사용할 수도 있습니다. 이러한 공급자를 지정하지 않으면 기본 AWS 공급자 체인을 사용합니다.

Kinesis의 읽기 처리량 및 대기 시간을 제어하는 데 사용되는 인수는 다음과 같습니다.

반품

Kinesis 테이블은 다음 스키마를 사용하여 레코드를 기록합니다.

열은 기본 키를 구성합니다 (stream, shardId, sequenceNumber) .

예제

-- Streaming Ingestion from Kinesis
> CREATE STREAMING TABLE testing.streaming_table AS
    SELECT * FROM STREAM read_kinesis (
        streamName => 'test_databricks',
        awsAccessKey => secret(‘test-databricks’, ‘awsAccessKey’),
        awsSecretKey => secret(‘test-databricks’, ‘awsSecretKey’),
        initialPosition => 'earliest');

-- The data would now need to be queried from the testing.streaming_table

-- A streaming query when the environment variables already contain AWS_ACCESS_KEY_ID and AWS_SECRET_ACCESS_KEY configured
> CREATE STREAMING TABLE testing.streaming_table AS
    SELECT * FROM STREAM read_kinesis (
        streamName => 'test_databricks',
        initialPosition => 'earliest');

-- A streaming query when the roleArn, roleSessionName, and roleExternalID are configured
> CREATE STREAMING TABLE testing.streaming_table AS
    SELECT * FROM STREAM read_kinesis (
        streamName => 'test_databricks',
        initialPosition => 'earliest',
        roleArn => 'arn:aws:iam::123456789012:role/MyRole',
        roleSessionName => 'testing@databricks.com');

관련된 함수

• sequence 함수
• read_kafka 테이블 반환 함수
• 스트리밍 테이블 반환 함수 read_pubsub