Aplatissement, échappement et gestion des tableaux JSON

Votre environnement Azure Time Series Insights Gen2 crée dynamiquement les colonnes de vos magasins chauds et froids, en suivant un ensemble particulier de conventions d’affectation de noms. Lorsqu’un événement est ingéré, un ensemble de règles est appliqué aux noms de propriété et de charge utile JSON. Ces opérations comprennent l'échappement de certains caractères spéciaux et la mise à plat des objets JSON imbriqués. Il est important de connaître ces règles afin de comprendre comment la forme de votre JSON influencera la façon dont vos événements sont stockés et interrogés. Consultez le tableau ci-dessous pour obtenir la liste complète des règles. Les exemples A & B montrent également comment vous pouvez traiter efficacement plusieurs séries chronologiques dans un tableau.

Comprendre le comportement double des tableaux

Les tableaux d’objets sont stockés entiers ou divisés en plusieurs événements en fonction de la façon dont vous avez modélisé vos données. Cela vous permet d’utiliser un tableau pour traiter les événements par lots et d’éviter de répéter les propriétés de télémétrie définies au niveau de l’objet racine. Le traitement par lots peut être avantageux, car il entraîne moins de messages Event Hubs ou IoT Hub envoyés.

Toutefois, dans certains cas, les tableaux contenant des objets ne sont significatifs que dans le contexte d’autres valeurs. La création de plusieurs événements rend les données sans signification. Pour vous assurer qu’un tableau d’objets est stocké as-is en tant que type dynamique, suivez les instructions de modélisation des données ci-dessous et examinez l’exemple C.

Comment savoir si mon tableau d’objets produit plusieurs événements

Si une ou plusieurs de vos propriétés d’ID Time Series sont imbriquées dans des objets d’un tableau, ou si votre propriété d’horodatage source d’événement est imbriquée, le moteur d’ingestion le fractionne pour créer plusieurs événements. Les noms de propriétés que vous avez fournis pour vos ID TS et/ou horodatage doivent suivre les règles d’aplatissement ci-dessus et indiquent donc la forme de votre JSON. Consultez les exemples ci-dessous, puis consultez le guide pour sélectionner une propriété d’ID de série temporelle.

Exemple A

ID de série chronologique à la racine de l'objet et horodatage imbriqué
ID de série chronologique environnement :"id"
Horodatage de la source de l'événement :"values.time"
charge utile JSON :

[
    {
        "id": "caaae533-1d6c-4f58-9b75-da102bcc2c8c",
        "values": [
            {
                "time": "2020-05-01T00:59:59.000Z",
                "value": 25.6073
            },
            {
                "time": "2020-05-01T01:00:29.000Z",
                "value": 43.9077
            }
        ]
    },
    {
        "id": "1ac87b74-0865-4a07-b512-56602a3a576f",
        "values": [
            {
                "time": "2020-05-01T00:59:59.000Z",
                "value": 0.337288
            },
            {
                "time": "2020-05-01T01:00:29.000Z",
                "value": 4.76562
            }
        ]
    }
]

Résultat dans le fichier Parquet :
La configuration et la charge utile ci-dessus produisent trois colonnes et quatre événements

Exemple B

ID de série chronologique composite avec une propriété imbriquée
Série chronologique d'environnement ID :"plantId" et "telemetry.tagId"
Horodatage de la source d'événement : "timestamp"
charge utile JSON :

[
    {
        "plantId": "9336971",
        "timestamp": "2020-01-22T16:38:09Z",
        "telemetry": [
            {
                "tagId": "100231-A-A6",
                "tagValue": -31.149018
            },
            {
                "tagId": "100231-A-A1",
                "tagValue": 20.560796
            },
            {
                "tagId": "100231-A-A9",
                "tagValue": 177
            },
            {
                "tagId": "100231-A-A8",
                "tagValue": 420
            },
        ]
    },
    {
        "plantId": "9336971",
        "timestamp": "2020-01-22T16:42:14Z",
        "telemetry": [
            {
                "tagId": "103585-A-A7",
                "value": -30.9918
            },
            {
                "tagId": "103585-A-A4",
                "value": 19.960796
            }
        ]
    }
]

Résultat dans le fichier Parquet :
La configuration et la charge utile ci-dessus produisent quatre colonnes et six événements

Exemple C

L’ID de série chronologique et l’horodatage se trouvent à la racine de l’objet
Série chronologique de l'environnement ID: "id"
horodatage de la source d’événements :"timestamp"
charge utile JSON :

{
    "id": "800500054755",
    "timestamp": "2020-11-01T10:00:00.000Z",
    "datapoints": [{
            "value": 120
        },
        {
            "value": 124
        }
    ]
}

Résultat dans le fichier Parquet :
La configuration et la charge utile ci-dessus produisent trois colonnes et un événement

Étapes suivantes

• Comprendre les limitations de débit de votre environnement