Créer des règles de collecte de données (DCR) dans Azure Monitor

Plusieurs méthodes permettent de créer une règle de collecte des données (DCR) dans Azure Monitor. Dans certains cas, Azure Monitor crée et gère la DCR en fonction des paramètres que vous configurez dans le portail Azure. Vous pouvez même ne pas vous rendre compte que vous travaillez avec une DCR dans certains de ces cas. Pour d’autres scénarios, vous devrez peut-être créer vos propres DCR ou modifier des DCR existantes en travaillant directement avec leur définition en JSON. Cet article décrit les différentes méthodes de création d’une DCR et des recommandations sur leur modification et la résolution de leurs problèmes.

autorisations

Vous devez disposer des autorisations suivantes pour créer des DCR et des associations de DCR :

Créer ou modifier une DCR en utilisant le Portail Azure

Le Portail Azure offre une expérience simplifiée pour la création d’une DCR pour des scénarios particuliers. En utilisant cette méthode, vous n’avez pas besoin de comprendre la structure d’une DCR, bien que vous puissiez être limité dans la configuration que vous pouvez effectuer, et que vous deviez peut-être modifier ultérieurement la définition DCR pour implémenter une fonctionnalité avancée telle qu’une transformation. L’expérience varie pour chaque scénario. En conséquence, reportez-vous à la documentation relative au scénario spécifique que vous utilisez, comme décrit dans le tableau suivant.

Définition DCR

Quelle que soit la façon dont elle est créée, chaque DCR a une définition qui suit un schéma JSON standard. Pour créer ou modifier une DCR en utilisant une méthode autre que le Portail Azure, vous devez travailler directement avec sa définition JSON. Pour certains scénarios, vous devez utiliser la définition JSON, car le Portail Azure ne fournit pas de moyen de configurer la DCR en fonction des besoins.

Vous pouvez afficher le JSON d’une DCR dans le Portail Azure en cliquant sur Affichage JSON dans le menu Vue d’ensemble.

Vérifiez que la version de l’API la plu récente est sélectionnée dans la liste déroulante des Versions ’API. Si ce n’est pas le cas, il se peut que certaines données JSON ne soient pas affichées.

Vous pouvez également récupérer le JSON de la DCR en appelant l’API DCR REST. Par exemple, le script PowerShell suivant récupère le JSON d’une DCR et l’enregistre dans un fichier.

$ResourceId = "<ResourceId>" # Resource ID of the DCR to edit
$FilePath = "<FilePath>" # File to store DCR content
$DCR = Invoke-AzRestMethod -Path ("$ResourceId"+"?api-version=2023-03-11") -Method GET
$DCR.Content | ConvertFrom-Json | ConvertTo-Json -Depth 20 | Out-File -FilePath $FilePath

Créer ou modifier une DCR en utilisant JSON

En plus de modifier une DCR existante, vous pouvez en créer une en utilisant l’un des exemples de DCR qui fournissent le JSON pour plusieurs scénarios courants. Utilisez les informations contenues dans Structure d’une règle de collecte de données dans Azure Monitor pour modifier le fichier JSON pour votre environnement et vos exigences particuliers.

Une fois que vous avez la définition de votre DCR, vous pouvez la déployer sur Azure Monitor en utilisant le Portail Azure, l’interface CLI, PowerShell, l’API ou des modèles ARM.

az monitor data-collection rule create --location 'eastus' --resource-group 'my-resource-group' --name 'my-dcr' --rule-file 'C:\MyNewDCR.json' --description 'This is my new DCR'

New-AzDataCollectionRule -Name 'my-dcr' -ResourceGroupName 'my-resource-group' -JsonFilePath 'C:\MyNewDCR.json'

$ResourceId = "/subscriptions/ffffffff-eeee-dddd-cccc-bbbbbbbbbbb0/resourceGroups/my-resource-group/providers/Microsoft.Insights/dataCollectionRules/my-dcr"
$FilePath = ".\my-dcr.json"
$DCRContent = Get-Content $FilePath -Raw 
Invoke-AzRestMethod -Path ("$ResourceId"+"?api-version=2022-06-01") -Method PUT -Payload $DCRContent

ResourceId="/subscriptions/ffffffff-eeee-dddd-cccc-bbbbbbbbbbb0/resourceGroups/my-resource-group/providers/Microsoft.Insights/dataCollectionRules/my-dcr"
FilePath="my-dcr.json"
az rest --method put --url $ResourceId"?api-version=2022-06-01" --body @$FilePath

{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "dataCollectionRuleName": {
            "type": "string",
            "metadata": {
                "description": "Specifies the name of the Data Collection Rule to create."
            }
        },
        "location": {
            "type": "string",
            "metadata": {
                "description": "Specifies the location in which to create the Data Collection Rule."
            }
        }
    },
    "resources": [
        {
            "type": "Microsoft.Insights/dataCollectionRules",
            "name": "[parameters('dataCollectionRuleName')]",
            "location": "[parameters('location')]",
            "apiVersion": "2021-09-01-preview",
            "properties": {
                "<dcr-properties>"
            }
        }
    ]
}

Stratégies de modification et de test d’une DCR

Lorsque vous créez ou modifiez une DCR à l’aide de sa définition JSON, vous devez souvent effectuer plusieurs mises à jour pour obtenir les fonctionnalités souhaitées. Vous avez besoin d’une méthode efficace pour mettre à jour la DCR, la dépanner si vous n’obtenez pas les résultats attendus, puis effectuer des mises à jour supplémentaires. Cela est particulièrement vrai si vous ajoutez une transformation à la DCR, car vous devez valider que la requête fonctionne comme prévu. Étant donné que vous ne pouvez pas modifier le JSON directement dans le Portail Azure, voici quelques stratégies que vous pouvez utiliser.

Utiliser le fichier local comme source de la DCR

Si vous utilisez un fichier JSON local comme source des DCR que vous créez et modifiez, vous êtes assuré d’avoir toujours accès à la version de la définition DCR la plus récente. Cette méthode est idéale si vous souhaitez utiliser des outils de contrôle de version tels que GitHub ou Azure DevOps pour gérer vos modifications. Vous pouvez également utiliser un éditeur tel que VS Code pour apporter des modifications à la DCR, puis utiliser des outils en ligne de commande pour mettre à jour la DCR dans Azure Monitor, comme décrit ci-dessus.

Voici un exemple de script PowerShell que vous pouvez utiliser pour envoyer (push) des modifications à une DCR depuis un fichier source. Cela valide le fait que le fichier source est au format JSON avant de l’envoyer à Azure Monitor.

param (
    [Parameter(Mandatory = $true)][string]$ResourceId,  # Resource ID of the DCR
    [Parameter(Mandatory = $true)][string]$FilePath  # Path to the DCR JSON file to upload
)

# Read the DCR content from the file
Write-Host "Reading new DCR content from: $FilePath" -ForegroundColor Green
$DCRContent = Get-Content $FilePath -Raw

# Ensure the DCR content is valid JSON
try {
    $ParsedDCRContent = $DCRContent | ConvertFrom-Json
} catch {
    Write-Host "Invalid JSON content in file: $FilePath" -ForegroundColor Red
    exit 1
}

# Create or update the DCR in the specified resource group
Write-Host "Deploying DCR $ResourceId ..." -ForegroundColor Green
Invoke-AzRestMethod -Path ("$ResourceId"+"?api-version=2023-03-11") -Method PUT -Payload $DCRContent		

Enregistrer le contenu de la DCR dans un fichier temporaire

Si vous ne disposez pas de la définition DCR dans un fichier local, vous pouvez récupérer la définition à partir d’Azure Monitor et l’enregistrer dans un fichier temporaire. Vous pouvez ensuite modifier le fichier à l’aide d’un éditeur tel que VS Code avant d’envoyer les mises à jour à Azure Monitor.

Voici un exemple de script PowerShell que vous pouvez utiliser pour modifier une DCR existante dans Azure Monitor. Le script récupère la définition DCR et l’enregistre dans un fichier temporaire avant de lancer VS Code. Une fois que vous indiquez au script que vous avez enregistré vos modifications, la DCR est mis à jour avec le nouveau contenu et le fichier temporaire est supprimé.

param ([Parameter(Mandatory=$true)] $ResourceId)

# Get DCR content and save it to a local file
$FilePath = "temp.dcr"
$DCR = Invoke-AzRestMethod -Path ("$ResourceId"+"?api-version=2023-03-11") -Method GET
$DCR.Content | ConvertFrom-Json | ConvertTo-Json -Depth 20 | Out-File $FilePath

# Open DCR in code editor
code $FilePath | Wait-Process

{ 
	#write DCR content back from the file
	$DCRContent = Get-Content $FilePath -Raw
	Invoke-AzRestMethod -Path ("$ResourceId"+"?api-version=2023-03-11") -Method PUT -Payload $DCRContent		
}

#Delete temporary file
Remove-Item $FilePath

Utiliser un modèle ARM pour modifier une DCR existante

Si vous souhaitez effectuer vos modifications intégralement dans le Portail Azure, vous pouvez utiliser la fonctionnalité Exporter le modèle pour récupérer le modèle ARM d’une DCR. Vous pouvez ensuite modifier la définition dans le JSON et la redéployer dans le Portail Azure.

1. Sélectionnez la DCR que vous souhaitez modifier dans le Portail Azure, puis sélectionnez Exporter le modèle. Cliquez ensuite sur Déployer pour redéployer le même modèle.

   

2. Cliquez sur Modifier le modèle pour ouvrir une version modifiable du JSON de la DCR. Ne modifiez pas les valeurs des paramètres.

   

3. Apportez les modifications requises à la DCR, puis cliquez sur Enregistrer.

   

4. Si vous souhaitez créer une nouvelle DCR, modifiez le paramètre de nom. Sinon, laissez les paramètres inchangés. Cliquez sur Vérifier + créer pour déployer le modèle modifié et Créer pour créer la nouvelle DCR.

   

5. Si la DCR est valide et sans erreur, le déploiement réussit et la DCR sera mise à jour avec la nouvelle configuration. Cliquez sur Accéder à la ressource pour ouvrir la DCR modifiée.

   

6. Si la DCR présente des erreurs de compilation, vous recevrez un message indiquant que votre déploiement a échoué. Cliquez sur Détails de l’erreur et Détails de l’opération pour afficher les détails de l’erreur. Cliquez sur Redéployer, puis à nouveau sur Modifier le modèle pour apporter les modifications nécessaires à la DCR, puis enregistrez-le et redéployez-le.

   

Vérifier et résoudre les problèmes de collecte de données

Une fois la DCR installé, plusieurs minutes peuvent s'écouler avant que les modifications prennent effet et que les données soient collectées avec la DCR mise à jour. Si vous constatez qu’aucune donnée n’est collectée, il peut être difficile de déterminer la cause racine du problème. Utilisez les fonctionnalités de supervision DCR, qui incluent des métriques et des journaux pour vous aider à résoudre les problèmes.

Les métriques DCR sont collectées automatiquement pour toutes les DCR et vous pouvez les analyser en utilisant un explorateur de métriques comme les métriques de plateforme pour d’autres ressources Azure. Activez les journaux d’erreurs DCR pour obtenir des informations détaillées sur les erreurs lorsque le traitement des données n’a pas réussi.

Si vous ne voyez pas de données collectées, suivez ces étapes de base pour résoudre le problème.

1. Vérifiez des métriques telles que Logs Ingestion Bytes per Min et Logs Rows Received per Min pour être certain que les données atteignent Azure Monitor. Si ce n’est pas le cas, vérifiez votre source de données pour être certain qu’elle envoie des données comme prévu.
2. Vérifiez Logs Rows Dropped per Min pour voir si des lignes sont supprimées. Cela peut ne pas indiquer une erreur, car les lignes peuvent être supprimées par une transformation. Toutefois, si les lignes supprimées sont identiques à Logs Rows Dropped per Min, cela signifie qu’aucune donnée ne sera ingérée dans l’espace de travail. Examinez Logs Transformation Errors per Min pour voir s’il existe des erreurs de transformation.
3. Vérifiez Logs Transformation Errors per Min pour déterminer s’il existe des erreurs liées aux transformations appliquées aux données entrantes. Ces erreurs peuvent être dues aux modifications apportées à la structure de données ou à la transformation elle-même.
4. Vérifiez la table DCRLogErrors pour voir si des erreurs d’ingestion ont été journalisées. Cela peut fournir des détails supplémentaires pour identifier la cause racine du problème.

Étapes suivantes

• En savoir plus sur la structure détaillée d’une règle de collecte de données
• Obtenir des détails sur les transformations dans une règle de collecte de données