JSON 평면화, 이스케이프 및 배열 처리

Azure Time Series Insights Gen2 환경은 특정 명명 규칙 집합에 따라 웜 및 콜드 저장소의 열을 자동으로 생성합니다. 이벤트를 수집하면 JSON 페이로드 및 속성 이름에 규칙 집합이 적용됩니다. 여기에는 특수 문자의 이스케이프 및 중첩된 JSON 객체의 단순화가 포함됩니다. JSON의 모양이 이벤트를 저장하고 쿼리하는 방법에 어떤 영향을 미치는지 이해할 수 있도록 이러한 규칙을 알고 있는 것이 중요합니다. 규칙의 전체 목록은 아래 표를 참조하세요. 예제 A & B에서는 배열에서 여러 시계열을 효율적으로 일괄 처리할 수 있는 방법도 보여 줍니다.

배열의 이중 동작 이해

개체 배열은 데이터를 모델링한 방법에 따라 전체 또는 여러 이벤트로 분할됩니다. 이렇게 하면 배열을 사용하여 이벤트를 일괄 처리하고 루트 개체 수준에서 정의된 원격 분석 속성을 반복하지 않도록 할 수 있습니다. 일괄 처리는 전송된 Event Hubs 또는 IoT Hub 메시지 수가 줄어들기 때문에 유리할 수 있습니다.

그러나 경우에 따라 개체를 포함하는 배열은 다른 값의 컨텍스트에서만 의미가 있습니다. 여러 이벤트를 만들면 데이터가 의미가 없습니다. 개체 배열이 동적 타입으로 as-is 저장되도록 하려면 아래 데이터 모델링 지침을 따르고, C 예제를 참조하십시오

내 개체 배열이 여러 이벤트를 생성할지를 아는 방법

하나 이상의 시계열 ID 속성(들)이 배열 내의 개체에 중첩되어 있거나 이벤트 원본 타임스탬프 속성이 중첩되어 있는 경우, 수집 엔진이 또는으로 이를 분할하여 여러 이벤트를 생성합니다. TS ID 및/또는 타임스탬프에 제공한 속성 이름은 위의 평면화 규칙을 따라야 하므로 JSON의 모양을 나타냅니다. 아래 예제를 참조하고 시계열 ID 속성을 선택하는 방법에 대한 가이드를 확인하세요.

예제 A

개체 루트의 시계열 ID 및 중첩된 타임스탬프
환경 시계열 ID:"id"
이벤트 원본 타임스탬프:"values.time"
JSON 페이로드:

[
    {
        "id": "caaae533-1d6c-4f58-9b75-da102bcc2c8c",
        "values": [
            {
                "time": "2020-05-01T00:59:59.000Z",
                "value": 25.6073
            },
            {
                "time": "2020-05-01T01:00:29.000Z",
                "value": 43.9077
            }
        ]
    },
    {
        "id": "1ac87b74-0865-4a07-b512-56602a3a576f",
        "values": [
            {
                "time": "2020-05-01T00:59:59.000Z",
                "value": 0.337288
            },
            {
                "time": "2020-05-01T01:00:29.000Z",
                "value": 4.76562
            }
        ]
    }
]

Parquet 파일의 결과:
위의 구성 및 페이로드는 세 개의 열과 4개의 이벤트를 생성합니다.

예제 B

하나의 속성이 중첩된 복합 시계열 ID
환경 시계열 ID:"plantId" 및 "telemetry.tagId"
이벤트 원본 타임스탬프:"timestamp"
JSON 페이로드:

[
    {
        "plantId": "9336971",
        "timestamp": "2020-01-22T16:38:09Z",
        "telemetry": [
            {
                "tagId": "100231-A-A6",
                "tagValue": -31.149018
            },
            {
                "tagId": "100231-A-A1",
                "tagValue": 20.560796
            },
            {
                "tagId": "100231-A-A9",
                "tagValue": 177
            },
            {
                "tagId": "100231-A-A8",
                "tagValue": 420
            },
        ]
    },
    {
        "plantId": "9336971",
        "timestamp": "2020-01-22T16:42:14Z",
        "telemetry": [
            {
                "tagId": "103585-A-A7",
                "value": -30.9918
            },
            {
                "tagId": "103585-A-A4",
                "value": 19.960796
            }
        ]
    }
]

parquet 파일의 결과:
위의 구성 및 페이로드는 4개의 열과 6개의 이벤트를 생성합니다.

예제 C

시계열 ID 및 타임스탬프가 개체 루트에 있습니다.
환경 시계열 ID:"id"
이벤트 원본 타임스탬프:"timestamp"
JSON 페이로드:

{
    "id": "800500054755",
    "timestamp": "2020-11-01T10:00:00.000Z",
    "datapoints": [{
            "value": 120
        },
        {
            "value": 124
        }
    ]
}

Parquet 파일에서 의 결과:
위의 구성 및 페이로드는 세 개의 열과 하나의 이벤트를 생성합니다.

다음 단계

• 환경의 처리량 제한 이해