다음을 통해 공유

AVRO 매핑

  • 아티클

적용 대상: ✅Microsoft Fabric✅Azure Data Explorer

AVRO 매핑을 사용하여 수집 원본 파일이 AVRO 형식일 때 들어오는 데이터를 테이블 내의 열에 매핑합니다.

매핑 목록의 각 요소는 특정 열에 대한 매핑을 정의합니다. 이러한 요소는 세 가지 column속성인 , datatype및 properties.에서 생성됩니다. 데이터 매핑 개요에 대해 자세히 알아봅니다.

각 AVRO 매핑 요소는 다음 선택적 속성 중 하나를 포함해야 합니다.

속성 Type 설명
필드 string AVRO 레코드의 필드 이름입니다.
Path string 값으로 시작하는 $ 경우 AVRO 문서에서 테이블 열의 내용이 될 필드의 경로로 해석됩니다. 전체 AVRO 레코드를 나타내는 경로는 $. 값이 시작 $ 되지 않으면 상수 값으로 해석됩니다. 특수 문자를 포함하는 경로는 ['속성 이름']으로 이스케이프되어야 합니다. 자세한 내용은 JSONPath 구문을 참조하세요.
ConstValue string AVRO 파일 내의 일부 값 대신 열에 사용할 상수 값입니다.
변환 string 매핑 변환을 사용하여 콘텐츠 에 적용해야 하는 변환입니다.

참고 항목

필드와 경로는 함께 사용할 수 없습니다.

다음 대안은 동일합니다.

[
  {"Column": "event_name", "Properties": {"Path": "$.EventName"}}
]

[
  {"Column": "event_name", "Properties": {"Field": "EventName"}}
]

Important

대기 중인 수집의 경우:

  • 매핑에서 참조되는 테이블이 데이터베이스에 없는 경우 모든 열에 대해 유효한 데이터 형식이 지정되어 있으면 자동으로 만들어집니다.
  • 매핑에서 참조되는 열이 테이블에 없는 경우 열에 대해 유효한 데이터 형식이 지정된 경우 해당 열에 대한 데이터를 처음 수집할 때 마지막 열로 테이블에 자동으로 추가됩니다. 매핑에 새 열을 추가하려면 .alter 수집 매핑 명령을 사용합니다.
  • 데이터는 수집 속성을 사용하여 일괄 처리됩니다. 다른 ConstValue 값과 같이 사용되는 고유 수집 매핑 속성이 많을수록 수집이 조각화되어 성능이 저하될 수 있습니다.

예제

[
  {"Column": "event_timestamp", "Properties": {"Field": "Timestamp"}},
  {"Column": "event_name",      "Properties": {"Field": "Name"}},
  {"Column": "event_type",      "Properties": {"Field": "Type"}},
  {"Column": "event_time",      "Properties": {"Field": "Timestamp", "Transform": "DateTimeFromUnixMilliseconds"}},
  {"Column": "ingestion_time",  "Properties": {"ConstValue": "2021-01-01T10:32:00"}},
  {"Column": "full_record",     "Properties": {"Path": "$"}}
]

위의 매핑은 관리 명령의 .ingest 일부로 제공되는 경우 JSON 문자열로 직렬화됩니다.

.ingest into Table123 (@"source1", @"source2")
  with
  (
      format = "AVRO",
      ingestionMapping =
      ```
      [
        {"Column": "column_a", "Properties": {"Field": "Field1"}},
        {"Column": "column_b", "Properties": {"Field": "$.[\'Field name with space\']"}}
      ]
      ```
  )

미리 만든 매핑

매핑이 미리 만들어지면 관리 명령에서 이름으로 매핑을 .ingest 참조합니다.

.ingest into Table123 (@"source1", @"source2")
    with
    (
        format="AVRO",
        ingestionMappingReference = "Mapping_Name"
    )

ID 매핑

매핑 스키마를 정의하지 않고 수집 중에 AVRO 매핑을 사용합니다(ID 매핑 참조).

.ingest into Table123 (@"source1", @"source2")
    with
    (
        format="AVRO"
    )