Сглаживание, экранирование и обработка массивов JSON

Среда Azure Time Series Insights Gen2 будет динамически создавать столбцы для горячего и холодного хранилищ, следуя определенным соглашениям об именовании. При приеме события набор правил применяется к полезным данным и именам свойств JSON. К ним относятся экранирование определенных специальных символов и неструктурированные вложенные объекты JSON. Важно знать эти правила, чтобы понять, как форма JSON будет влиять на хранение и запросы событий. В таблице ниже приведен полный список правил. Примеры A & B также демонстрируют, как эффективно пакетировать несколько временных рядов в массиве.

Общие сведения о двойном поведении массивов

Массивы объектов будут храниться целиком или разделены на несколько событий в зависимости от того, как вы моделировали данные. Это позволяет использовать массив для пакетных событий и избегать повторения свойств телеметрии, определенных на уровне корневого объекта. Пакетная обработка может быть выгодной, так как это приводит к меньшему количеству отправленных сообщений из концентраторов событий или концентраторов Интернета вещей.

Однако в некоторых случаях массивы, содержащие объекты, имеют смысл только в контексте других значений. Создание нескольких событий приведет к отображению данных без смысла. Чтобы убедиться, что массив объектов хранится as-is в качестве динамического типа, следуйте приведенным ниже инструкциям по моделированию данных и ознакомьтесь с примером C

Как узнать, будет ли массив объектов создавать несколько событий

Если один или несколько ваших идентификаторов временных рядов вложены в объекты в массиве, или если свойство метки времени источника события вложено (или), механизм приема данных разделит их для создания нескольких событий. Имена свойств, указанные для идентификаторов TS и (или) метки времени, должны соответствовать приведенным выше правилам упрощения, и, следовательно, указывать форму JSON. Ознакомьтесь с приведенными ниже примерами и прочитайте руководство о том, как выбрать свойство идентификатора временных рядов.

Пример A

Идентификатор временных рядов в корне объекта и вложенная метка времени
Идентификатор временных рядов окружения :"id"
метка времени источника события :"values.time"
нагрузка JSON :

[
    {
        "id": "caaae533-1d6c-4f58-9b75-da102bcc2c8c",
        "values": [
            {
                "time": "2020-05-01T00:59:59.000Z",
                "value": 25.6073
            },
            {
                "time": "2020-05-01T01:00:29.000Z",
                "value": 43.9077
            }
        ]
    },
    {
        "id": "1ac87b74-0865-4a07-b512-56602a3a576f",
        "values": [
            {
                "time": "2020-05-01T00:59:59.000Z",
                "value": 0.337288
            },
            {
                "time": "2020-05-01T01:00:29.000Z",
                "value": 4.76562
            }
        ]
    }
]

Результат в файле Parquet:
В приведенной выше конфигурации и полезной нагрузке получатся три столбца и четыре события.

Пример B

Составной идентификатор временных рядов с одним вложенным свойством
Идентификатор временного ряда окружающей среды: "plantId" и "telemetry.tagId"
метка времени источника события :"timestamp"
полезная нагрузка JSON :

[
    {
        "plantId": "9336971",
        "timestamp": "2020-01-22T16:38:09Z",
        "telemetry": [
            {
                "tagId": "100231-A-A6",
                "tagValue": -31.149018
            },
            {
                "tagId": "100231-A-A1",
                "tagValue": 20.560796
            },
            {
                "tagId": "100231-A-A9",
                "tagValue": 177
            },
            {
                "tagId": "100231-A-A8",
                "tagValue": 420
            },
        ]
    },
    {
        "plantId": "9336971",
        "timestamp": "2020-01-22T16:42:14Z",
        "telemetry": [
            {
                "tagId": "103585-A-A7",
                "value": -30.9918
            },
            {
                "tagId": "103585-A-A4",
                "value": 19.960796
            }
        ]
    }
]

результат в файле Parquet:
Конфигурация и полезная нагрузка выше создадут четыре столбца и шесть событий.

Пример C

Идентификатор временных рядов и метка времени находятся в корне объекта
Идентификатор временного ряда среды :"id"
метка времени источника события :"timestamp"
JSON-пейлоад:

{
    "id": "800500054755",
    "timestamp": "2020-11-01T10:00:00.000Z",
    "datapoints": [{
            "value": 120
        },
        {
            "value": 124
        }
    ]
}

результат в файле Parquet:
Конфигурация и полезная нагрузка, указанные выше, создадут три столбца и одно событие.

Дальнейшие действия

• Общие сведения об ограничениях пропускной способности среды