Aplanamiento de JSON, escape y control de matrices

El entorno de Azure Time Series Insights Gen2 creará dinámicamente las columnas de los almacenes intermedios y en frío, siguiendo un conjunto determinado de convenciones de nomenclatura. Cuando se ingiere un evento, se aplica un conjunto de reglas a la carga útil JSON y a los nombres de propiedad. Entre ellas se incluyen el escape de determinados caracteres especiales y la aplanación de objetos JSON anidados. Es importante conocer estas reglas para que comprenda cómo influirá la forma de JSON en cómo se almacenan y consultan los eventos. Consulte la tabla siguiente para obtener la lista completa de reglas. Los ejemplos A & B también muestran cómo puede procesar de forma eficaz varios lotes de series temporales en una matriz.

Descripción del comportamiento dual de las matrices

Las matrices de objetos se almacenarán enteras o se dividirán en varios eventos en función de cómo haya modelado los datos. Esto le permite usar una matriz para procesar por lotes eventos y evitar repetir las propiedades de telemetría definidas en el nivel de objeto raíz. El procesamiento por lotes puede ser ventajoso, ya que da como resultado menos mensajes de Event Hubs o IoT Hub enviados.

Sin embargo, en algunos casos, las matrices que contienen objetos solo son significativas en el contexto de otros valores. Crear múltiples eventos dejaría los datos sin sentido. Para asegurarse de que una matriz de objetos se almacena as-is como un tipo dinámico, siga las instrucciones de modelado de datos siguientes y eche un vistazo a ejemplo de C

Cómo saber si mi matriz de objetos generará varios eventos

Si una o más de sus propiedades de ID de serie temporal están anidadas dentro de objetos en una matriz, o si la propiedad de marca de tiempo del origen del evento está anidada, el motor de ingesta las separará para crear varios eventos. Los nombres de propiedad que proporcionaste para tus ID(s) de TS y/o marca de tiempo deben seguir las reglas de aplanamiento mencionadas anteriormente, y, por lo tanto, indicarán la estructura de tu JSON. Consulte los ejemplos a continuación y eche un vistazo a la guía sobre cómo seleccionar una propiedad de ID de serie temporal.

Ejemplo A

Id. de serie temporal en la raíz del objeto y la marca de tiempo anidada
Identificación de series temporales del entorno :"id"
marca de tiempo del origen del evento:"values.time"
carga JSON:

[
    {
        "id": "caaae533-1d6c-4f58-9b75-da102bcc2c8c",
        "values": [
            {
                "time": "2020-05-01T00:59:59.000Z",
                "value": 25.6073
            },
            {
                "time": "2020-05-01T01:00:29.000Z",
                "value": 43.9077
            }
        ]
    },
    {
        "id": "1ac87b74-0865-4a07-b512-56602a3a576f",
        "values": [
            {
                "time": "2020-05-01T00:59:59.000Z",
                "value": 0.337288
            },
            {
                "time": "2020-05-01T01:00:29.000Z",
                "value": 4.76562
            }
        ]
    }
]

Resultado en el archivo Parquet:
La configuración y la carga anteriores generarán tres columnas y cuatro eventos.

Ejemplo B

Identificador de serie temporal compuesto con una propiedad anidada
ID de serie temporal de entorno: "plantId" y "telemetry.tagId"
marca de tiempo del origen del evento:"timestamp"
carga JSON:

[
    {
        "plantId": "9336971",
        "timestamp": "2020-01-22T16:38:09Z",
        "telemetry": [
            {
                "tagId": "100231-A-A6",
                "tagValue": -31.149018
            },
            {
                "tagId": "100231-A-A1",
                "tagValue": 20.560796
            },
            {
                "tagId": "100231-A-A9",
                "tagValue": 177
            },
            {
                "tagId": "100231-A-A8",
                "tagValue": 420
            },
        ]
    },
    {
        "plantId": "9336971",
        "timestamp": "2020-01-22T16:42:14Z",
        "telemetry": [
            {
                "tagId": "103585-A-A7",
                "value": -30.9918
            },
            {
                "tagId": "103585-A-A4",
                "value": 19.960796
            }
        ]
    }
]

Resultado en el archivo Parquet:
La configuración y la carga anterior generarán cuatro columnas y seis eventos.

Ejemplo de C

El identificador y la marca de tiempo de serie temporal se encuentran en la raíz del objeto.
ID de serie temporal medioambiental de :"id"
marca de tiempo del origen del evento:"timestamp"
carga útil JSON:

{
    "id": "800500054755",
    "timestamp": "2020-11-01T10:00:00.000Z",
    "datapoints": [{
            "value": 120
        },
        {
            "value": 124
        }
    ]
}

Resultado en el archivo Parquet:
La configuración y la carga anterior generarán tres columnas y un evento

Pasos siguientes

• Comprender las limitaciones de rendimiento del entorno