Résoudre les erreurs d’ingestion ou les données endommagées

Article
11/20/2024

Note

Le 1er septembre 2023, nous avons fusionné et renommé Dynamics 365 Marketing et Dynamics 365 Customer Insights. Dynamics 365 Marketing devient Dynamics 365 Customer Insights - Journeys. Dynamics 365 Customer Insights est désormais Dynamics 365 Customer Insights - Data. Pour plus d’informations, consultez le FAQ sur Dynamics 365 Customer Insights.

Cet article présente les raisons courantes d’erreurs d’ingestion de données ou de données endommagées lors de l’utilisation d’Azure Data Lake Storage ou de Power Query dans Microsoft Dynamics 365 Insights client - Données.

Erreurs d’ingestion ou données endommagées avec Azure Data Lake Storage

Pendant l’ingestion des données, voici quelques-unes des raisons les plus courantes pour lesquelles un enregistrement peut être considéré comme endommagé :

Les types de données et les valeurs de champ ne correspondent pas entre le fichier source et le schéma.
Le nombre de colonnes dans le fichier source ne correspond pas au schéma.
Les champs contiennent des caractères qui entraînent le décalage des colonnes par rapport au schéma attendu. Par exemple, des guillemets mal mis en forme, des guillemets non mis en forme, des caractères de nouvelle ligne ou des caractères à tabulation.
Les fichiers de partition sont manquants.
datetime, dateou datetimeoffset les champs ne suivent pas le format standard.

Le schéma ou le type de données ne correspondent pas

Si les données ne sont pas conformes au schéma, le processus d’ingestion se termine avec des erreurs.

Pour résoudre ce problème, corrigez les données sources ou le schéma et réingérer les données.

Les fichiers de partition sont manquants

Si le processus d’ingestion réussit sans enregistrements endommagés, mais que vous ne pouvez pas voir de données, modifiez votre fichier model.json ou manifest.json pour vous assurer que les partitions sont spécifiées. Ensuite, actualisez la source de données.
Si l’ingestion des données se produit en même temps que les sources de données sont actualisées pendant une actualisation automatique de la planification, les fichiers de partition peuvent être vides ou indisponibles pour le processus système. Pour vous aligner sur la planification de l’actualisation en amont, modifiez la planification de l’actualisation du système ou la planification de l’actualisation pour la source de données. Alignez le timing afin que les actualisations ne se produisent pas toutes en même temps.

Les champs Datetime sont au format incorrect

Les datetime champs de la table ne sont pas au format ISO 8601.en-US Format par défaut datetime dans Dynamics 365 Insights client - Données est en-US. Tous les datetime champs d’une table doivent être au même format. Insights client prend en charge d’autres formats fournis pour les annotations ou caractéristiques fournies au niveau de la source ou de la table dans le modèle ou manifest.json. Par exemple :

Model.json

  "annotations": [
    {
      "name": "ci:CustomTimestampFormat",
      "value": "yyyy-MM-dd'T'HH:mm:ss:SSS"
    },
    {
      "name": "ci:CustomDateFormat",
      "value": "yyyy-MM-dd"
    }
  ]

Dans un fichier manifest.json , le datetime format peut être spécifié au niveau de la table ou de l’attribut. Au niveau de la table, utilisez "exhibitsTraits" le tableau dans *.manifest.cdm.json pour définir le datetime format. Au niveau de l’attribut, utilisez "appliedTraits" l’attribut dans tablename.cdm.json.

Manifest.json au niveau de la table

"exhibitsTraits": [
    {
        "traitReference": "is.formatted.dateTime",
        "arguments": [
            {
                "name": "format",
                "value": "yyyy-MM-dd'T'HH:mm:ss"
            }
        ]
    },
    {
        "traitReference": "is.formatted.date",
        "arguments": [
            {
                "name": "format",
                "value": "yyyy-MM-dd"
            }
        ]
    }
]

table.json au niveau de l’attribut

   {
      "name": "PurchasedOn",
      "appliedTraits": [
        {
          "traitReference": "is.formatted.date",
          "arguments" : [
            {
              "name": "format",
              "value": "yyyy-MM-dd"
            }
          ]
        },
        {
          "traitReference": "is.formatted.dateTime",
          "arguments" : [
            {
              "name": "format",
              "value": "yyyy-MM-ddTHH:mm:ss"
            }
          ]
        }
      ],
      "attributeContext": "POSPurchases/attributeContext/POSPurchases/PurchasedOn",
      "dataFormat": "DateTime"
    }

Erreurs d’ingestion ou données endommagées avec Power Query

Les valeurs Datetime sont analysées de manière incorrecte ou un échec d’analyse se produit

L’incompatibilité de type de données la plus courante se produit lorsqu’un champ de date n’est pas défini sur le format de date correct. Cette incompatibilité peut être due à des données sources mal mises en forme ou à des paramètres régionaux incorrects.

Symptômes du problème de paramètres régionaux incorrects :

Lorsque les données sources ne peuvent pas être analysées par les paramètres régionaux utilisés, une défaillance d’ingestion se produit. Par exemple, si « 29/08/2023 » est analysé avec « MM/DD/AAAA », l’ingestion échoue car elle ne peut pas analyser le mois 29.
Lorsque les données sources sont analysées avec succès à l’aide d’un paramètre régional incorrect, les valeurs datetime sont incorrectes. Par exemple, les données sources sont mises en forme sous la forme « MM/DD/AAAA », tandis que les paramètres régionaux par défaut utilisés pour analyser les données pendant l’ingestion utilisent « DD/MM/AAAA ». Par conséquent, « le 8 décembre 2023 » est ingéré comme « 12 août 2023 ».

Résolution

Pour corriger un format incorrect, mettez à jour les données sources et réingestionner.
Pour corriger des paramètres régionaux incorrects, modifiez le type de tous les champs datetime pour utiliser les paramètres régionaux appropriés à l’aide de paramètres>régionaux à l’aide de paramètres régionaux dans les transformations Power Query. Par exemple :

Pour plus d’informations, consultez les paramètres régionaux du document ou du projet.

Partager via