Informations de référence sur les données de surveillance Azure Data Factory

Cet article contient toutes les informations de référence de surveillance pour ce service.

Consultez Monitor Data Factory pour plus d’informations sur les données que vous pouvez collecter pour Azure Data Factory et comment l’utiliser.

Métriques

Cette section répertorie toutes les métriques de plateforme collectées automatiquement pour App Service. Ces métriques font également partie de la liste globale de toutes les métriques de plateforme prises en charge dans Azure Monitor.

Pour plus d’informations sur les métriques de surveillance, consultez la section Présentation des métriques Azure Monitor.

Métriques prises en charge pour Microsoft.DataFactory/datafactories

Le tableau suivant répertorie les métriques disponibles pour le type de ressource Microsoft.DataFactory/datafactories.

• Toutes les colonnes peuvent ne pas être présentes dans chaque table.
• Certaines colonnes peuvent dépasser la zone d’affichage de la page. Sélectionnez Développer la table pour afficher toutes les colonnes disponibles.

Titres du tableau

• Catégorie : le groupe de métriques ou classification.
• Métrique : nom complet de la métrique tel qu’il apparaît dans le portail Azure.
• Nom dans l’API REST : le nom de la métrique comme appelé dans l’API REST.
• Unité : unité de mesure.
• Agrégation : le type d’agrégation par défaut. Valeurs valides : Moyen (moy), Minimum (min), Maximum (max), Total (somme), Nombre.
• Dimensions - Dimensions disponibles pour la métrique.
• Fragments de temps - Intervalles auxquels la métrique est échantillonnée. Par exemple, PT1M indique que la métrique est échantillonnée toutes les minutes, PT30M toutes les 30 minutes, PT1H toutes les heures, et ainsi de suite.
• Exportation DS : indique si la métrique est exportable vers les journaux Azure Monitor via les paramètres de diagnostic. Pour plus d’informations sur l’exportation des métriques, consultez Créer des paramètres de diagnostic dans Azure Monitor.

Métriques prises en charge pour Microsoft.DataFactory/factories

Le tableau suivant répertorie les métriques disponibles pour le type de ressource Microsoft.DataFactory/factories.

• Toutes les colonnes peuvent ne pas être présentes dans chaque table.
• Certaines colonnes peuvent dépasser la zone d’affichage de la page. Sélectionnez Développer la table pour afficher toutes les colonnes disponibles.

Titres du tableau

• Catégorie : le groupe de métriques ou classification.
• Métrique : nom complet de la métrique tel qu’il apparaît dans le portail Azure.
• Nom dans l’API REST : le nom de la métrique comme appelé dans l’API REST.
• Unité : unité de mesure.
• Agrégation : le type d’agrégation par défaut. Valeurs valides : Moyen (moy), Minimum (min), Maximum (max), Total (somme), Nombre.
• Dimensions - Dimensions disponibles pour la métrique.
• Fragments de temps - Intervalles auxquels la métrique est échantillonnée. Par exemple, PT1M indique que la métrique est échantillonnée toutes les minutes, PT30M toutes les 30 minutes, PT1H toutes les heures, et ainsi de suite.
• Exportation DS : indique si la métrique est exportable vers les journaux Azure Monitor via les paramètres de diagnostic. Pour plus d’informations sur l’exportation des métriques, consultez Créer des paramètres de diagnostic dans Azure Monitor.

Dimensions de métrique

Pour plus d’informations sur les dimensions de métrique, consultez Métriques multidimensionnelles.

Ce service a les dimensions suivantes associées à ses métriques.

Microsoft.DataFactory/datafactories

• pipelineName
• activityName

Microsoft.DataFactory/factories

• ActivityType
• PipelineName
• FailureType
• Nom
• IntegrationRuntimeName
• ContainerName
• DagFile
• DagId
• ComputeNodeSize
• Travail
• Opérateur
• pool
• TaskId
• État
• NodeName
• CancelledBy
• RunId

Journaux d’activité de ressources

Cette section répertorie les types de journaux d’activité de ressources que vous pouvez collecter pour ce service. La section extrait la liste de tous les types de catégorie de journaux d’activité de ressources pris en charge dans Azure Monitor.

Journaux de ressources pris en charge pour Microsoft.DataFactory/factories

Tables Azure Monitor Logs

Cette section répertorie les tables de journaux Azure Monitor pertinentes pour ce service, disponibles pour une requête par l’analytique des journaux d’activité à l’aide de requêtes Kusto. Les tables contiennent les données du journal des ressources et éventuellement d’autres données en fonction de ce qui est collecté et acheminé vers elles.

Fabriques de données

Microsoft.DataFactory/factories

• AzureActivity
• AzureMetrics
• AzureDiagnostics
• ADFActivityRun
• ADFPipelineRun
• ADFTriggerRun
• ADFSandboxActivityRun
• ADFSandboxPipelineRun
• ADFSSISIntegrationRuntimeLogs
• ADFSSISPackageEventMessageContext
• ADFSSISPackageEventMessages
• ADFSSISPackageExecutableStatistics
• ADFSSISPackageExecutionComponentPhases
• ADFSSISPackageExecutionDataStatistics

Surveiller et log Analytics des schémas pour les journaux et les événements

Cette section répertorie les attributs utilisés par les schémas Azure Monitor et Log Analytics pour la surveillance des journaux et des événements.

Log Analytics hérite du schéma d’Azure Monitor avec les exceptions suivantes :

• La première lettre de chaque nom de colonne est majuscule. Par exemple, l’ID de corrélation du nom de colonne dans Monitor est CorrelationId dans Log Analytics.

• Il n’y a pas de colonne Level .

• La colonne de propriétés dynamiques est conservée en tant que type d’objet blob JSON dynamique suivant.

  Colonne Azure Monitor	Colonne Log Analytics	Type
  $.properties.UserProperties	UserProperties	Dynamique
  $.properties.Annotations	Annotations	Dynamique
  $.properties.Input	Entrée	Dynamique
  $.properties.Output	Output	Dynamique
  $.properties.Error.errorCode	ErrorCode	int
  $.properties.Error.message	ErrorMessage	string
  $.properties.Error	Error	Dynamique
  $.properties.Predecessors	Predecessors	Dynamique
  $.properties.Parameters	Paramètres	Dynamique
  $.properties.SystemParameters	SystemParameters	Dynamique
  $.properties.Tags	Balises	Dynamique

Attributs du journal d’exécution d’activité

{
   "Level": "",
   "correlationId":"",
   "time":"",
   "activityRunId":"",
   "pipelineRunId":"",
   "resourceId":"",
   "category":"ActivityRuns",
   "level":"Informational",
   "operationName":"",
   "pipelineName":"",
   "activityName":"",
   "start":"",
   "end":"",
   "properties":
       {
          "Input": "{
              "source": {
                "type": "BlobSource"
              },
              "sink": {
                "type": "BlobSink"
              }
           }",
          "Output": "{"dataRead":121,"dataWritten":121,"copyDuration":5,
               "throughput":0.0236328132,"errors":[]}",
          "Error": "{
              "errorCode": "null",
              "message": "null",
              "failureType": "null",
              "target": "CopyBlobtoBlob"
        }
    }
}

Attributs du journal d’exécution de pipeline

{
   "Level": "",
   "correlationId":"",
   "time":"",
   "runId":"",
   "resourceId":"",
   "category":"PipelineRuns",
   "level":"Informational",
   "operationName":"",
   "pipelineName":"",
   "start":"",
   "end":"",
   "status":"",
   "location": "",
   "properties":
    {
      "Parameters": {
        "<parameter1Name>": "<parameter1Value>"
      },
      "SystemParameters": {
        "ExecutionStart": "",
        "TriggerId": "",
        "SubscriptionId": ""
      },
      "Predecessors": [
            {
                "Name": "",
                "Id": "",
                "InvokedByType": ""
            }
        ]
    }
}

Attributs du journal d’exécution de déclencheur

{
   "Level": "",
   "correlationId":"",
   "time":"",
   "triggerId":"",
   "resourceId":"",
   "category":"TriggerRuns",
   "level":"Informational",
   "operationName":"",
   "triggerName":"",
   "triggerType":"",
   "triggerEvent":"",
   "start":"",
   "status":"",
   "properties":
   {
      "Parameters": {
        "TriggerTime": "",
       "ScheduleTime": ""
      },
      "SystemParameters": {}
    }
}

Attributs du journal du runtime d’intégration SSIS

Voici les attributs de journal des opérations de démarrage, d’arrêt et de maintenance du runtime d’intégration (IR) de SQL Server Integration Services (SSIS).

{
   "time": "",
   "operationName": "",
   "category": "",
   "correlationId": "",
   "dataFactoryName": "",
   "integrationRuntimeName": "",
   "level": "",
   "resultType": "",
   "properties": {
      "message": ""
   },
   "resourceId": ""
}

Attributs du journal de contexte des messages d’événements SSIS

Voici les attributs de journal des conditions liées aux messages d’événement générés par des exécutions de package SSIS sur votre runtime d’intégration de SSIS. Ils transmettent des informations similaires à celles d’une table ou d’une vue contextuelle de messages d’événements du catalogue SSIS (SSISDB) qui indiquent les valeurs d’exécution de nombreuses propriétés de packages SSIS. Ils sont générés lorsque vous sélectionnez le niveau de journalisation Basic/Verbose et sont utiles pour le débogage ou la vérification de la conformité.

{
   "time": "",
   "operationName": "",
   "category": "",
   "correlationId": "",
   "dataFactoryName": "",
   "integrationRuntimeName": "",
   "level": "",
   "properties": {
      "operationId": "",
      "contextDepth": "",
      "packagePath": "",
      "contextType": "",
      "contextSourceName": "",
      "contextSourceId": "",
      "propertyName": "",
      "propertyValue": ""
   },
   "resourceId": ""
}

Attributs du journal des messages d’événements SSIS

Voici les attributs de journal des messages d’événement générés par les exécutions de package SSIS sur votre runtime d’intégration SSIS. Ils transmettent des informations similaires à celles d’une table ou d’une vue de messages d’événements SSISDB qui montrent le texte détaillé ou les métadonnées des messages d’événements. Ils sont générés à n’importe quel niveau de journalisation, sauf None.

{
   "time": "",
   "operationName": "",
   "category": "",
   "correlationId": "",
   "dataFactoryName": "",
   "integrationRuntimeName": "",
   "level": "",
   "properties": {
      "operationId": "",
      "messageTime": "",
      "messageType": "",
      "messageSourceType": "",
      "message": "",
      "packageName": "",
      "eventName": "",
      "messageSourceName": "",
      "messageSourceId": "",
      "subcomponentName": "",
      "packagePath": "",
      "executionPath": "",
      "threadId": ""
   }
}

Attributs du journal des statistiques exécutables SSIS

Voici les attributs de journal des statistiques exécutables générées par les exécutions de package SSIS sur votre runtime d’intégration SSIS, où les exécutables sont des conteneurs ou des tâches dans les flux de contrôle des packages. Ils transmettent des informations similaires à celles d’une table ou d’une vue de statistiques sur les exécutables SSISDB qui présentent une ligne pour chaque exécutable en cours d’exécution, y compris ses itérations. Ils sont générés à n’importe quel niveau de journalisation, sauf None, et sont utiles pour identifier les goulots d’étranglement ou les défaillances au niveau des tâches.

{
   "time": "",
   "operationName": "",
   "category": "",
   "correlationId": "",
   "dataFactoryName": "",
   "integrationRuntimeName": "",
   "level": "",
   "properties": {
      "executionId": "",
      "executionPath": "",
      "startTime": "",
      "endTime": "",
      "executionDuration": "",
      "executionResult": "",
      "executionValue": ""
   },
   "resourceId": ""
}

Attributs du journal des phases du composant d’exécution SSIS

Voici les attributs de journal des statistiques de runtime pour les composants de flux de données générés par des exécutions de package SSIS sur votre runtime d’intégration SSIS. Ils transmettent des informations similaires à celles d’une table ou d’une vue des phases des composants d’exécution SSISDB qui indiquent le temps passé par les composants de flux de données dans toutes leurs phases d’exécution. Ils sont générés lorsque vous sélectionnez le niveau de journalisation Performance/Verbose qui est utile pour la capture des statistiques d’exécution du flux de données.

{
   "time": "",
   "operationName": "",
   "category": "",
   "correlationId": "",
   "dataFactoryName": "",
   "integrationRuntimeName": "",
   "level": "",
   "properties": {
      "executionId": "",
      "packageName": "",
      "taskName": "",
      "subcomponentName": "",
      "phase": "",
      "startTime": "",
      "endTime": "",
      "executionPath": ""
   },
   "resourceId": ""
}

Attributs du journal des statistiques des données d’exécution SSIS

Voici les attributs de journal des déplacements de données via chaque tronçon de pipelines de flux de données, de l’amont vers les composants en aval, générés par les exécutions de package SSIS sur votre IR SSIS. Ils transmettent des informations similaires à celles d’une table ou d’une vue de statistiques sur les données d’exécution SSISDB qui indiquent le nombre de lignes de données déplacées par les tâches de flux de données. Ils sont générés lorsque vous sélectionnez le niveau de journalisation Verbose qui est utile pour calculer le débit du flux de données.

{
   "time": "",
   "operationName": "",
   "category": "",
   "correlationId": "",
   "dataFactoryName": "",
   "integrationRuntimeName": "",
   "level": "",
   "properties": {
      "executionId": "",
      "packageName": "",
      "taskName": "",
      "dataflowPathIdString": "",
      "dataflowPathName": "",
      "sourceComponentName": "",
      "destinationComponentName": "",
      "rowsSent": "",
      "createdTime": "",
      "executionPath": ""
   },
   "resourceId": ""
}

Journal d’activité

La table liée répertorie les opérations qui peuvent être enregistrées dans le journal d’activité de ce service. Ces opérations constituent un sous-ensemble de toutes les opérations possibles du fournisseur de ressources dans le journal d’activité.

Pour plus d’informations sur le schéma des entrées du journal d’activité, consultez Schéma du journal d’activité.

• Opérations du fournisseur de ressources Microsoft.DataFactory

Contenu connexe

• Surveiller Data Factory
• Superviser des ressources Azure avec Azure Monitor
• Superviser par programmation à l’aide de kits SDK