다음을 통해 공유

read_statestore table값을 갖는 함수

  • 아티클

적용 대상:예로 표시된 확인 Databricks SQL 예로 표시된 확인 Databricks Runtime 14.3 이상

Important

이 기능은 공개 미리 보기 상태입니다.

스트리밍 쿼리의 상태 저장소에서 레코드를 읽기 위해 table값을 반환하는 함수입니다. 반환된 관계는 일괄 처리 쿼리로만 실행할 수 있습니다.

구문

read_statestore ( path [, option_key => option_value ] [ ... ] )

인수

은 선택적 에 대해 명명된 매개변수 호출를 위해 이 필요합니다.

  • path: STRING literal입니다. 스트리밍 쿼리 검사점 위치의 경로입니다.
  • option_key: 구성할 옵션의 이름입니다. 점(.)을 포함하는 옵션에는 백틱(')을 사용해야 합니다.
  • option_value: 옵션을 set로 설정하는 상수 표현입니다. 리터럴 및 스칼라 함수를 허용합니다.

모두 option_value대/소문자를 구분하지 않습니다.

option_key Type 기본값 설명
batchId BIGINT 최신 일괄 처리 ID 읽을 대상 배치를 나타냅니다. 이 옵션은 사용자가 시간 여행을 수행하려는 경우에 사용됩니다. 일괄 처리는 커밋되어야 하지만 아직 정리되지 않았습니다.
OperatorId BIGINT 0 읽을 대상 연산자를 나타냅니다. 이 옵션은 쿼리에서 여러 상태 저장 연산자를 사용하는 경우에 사용됩니다.
storeName STRING 'DEFAULT' 읽을 대상 쪽을 나타냅니다. 이 옵션은 사용자가 스트림 스트림 join상태를 읽으려는 경우에 사용됩니다.
joinSide STRING 'None' 읽을 대상 쪽을 나타냅니다. 이 옵션은 사용자가 스트림 스트림 join상태를 읽으려는 경우에 사용됩니다. 'Left', 'Right', 'None' 중 하나입니다.

반품

이 함수는 다음 columns과 함께 결과 set을 반환합니다.

참고 항목

키와 값에 대한 중첩된 columns은 상태 저장 연산자의 입력 schema과 연산자의 유형에 크게 의존합니다.

속성 데이터 형식 Nullable Standard 설명
id STRUCT 아니요 상태 검사점에 저장된 상태 저장 연산자의 키 행입니다.
value STRUCT 예 상태 검사점에 저장된 상태 저장 연산자의 값 행입니다.
partition_id INTEGER 아니요 레코드를 포함하는 partition.
shardId STRING 아니요 데이터가 읽힌 샤드 where에 대한 고유한 identifier.
sequenceNumber BIGINT 아니요 분할된 데이터베이스 내 레코드의 고유한 identifier.
approximateArrivalTimestamp TIMESTAMP 아니요 레코드가 스트림에 삽입된 대략적인 시간입니다.

예제

- Read from state
> SELECT * FROM read_statestore('/checkpoint/path');

– Read from state with storeName option
> SELECT * FROM read_statestore(
      '/checkpoint/path',
      operatorId => 0,
      batchId => 2,
      storeName => 'default'
  );

– Read from state with joinSide option

> SELECT * FROM read_statestore(
      '/checkpoint/path',
      joinSide => 'left'
  );