Partager via


Obtenir des données du stockage Azure

L’ingestion des données est le processus utilisé pour charger des données d’une ou plusieurs sources dans une table dans Azure Data Explorer. Une fois ingérées, les données sont disponibles pour les requêtes. Dans cet article, vous allez apprendre à obtenir des données à partir du stockage Azure (conteneur ADLS Gen2, conteneur d’objets blob ou objets blob individuels) dans une table nouvelle ou existante.

L’ingestion peut être effectuée en tant qu’opération ponctuelle ou en tant que méthode continue. L’ingestion continue peut être configurée uniquement via le portail.

Pour obtenir des informations générales sur l’ingestion des données, consultez la vue d’ensemble de l’ingestion des données Azure Data Explorer.

Prérequis

Obtenir des données

  1. Dans le menu de gauche, sélectionnez Requête.

  2. Cliquez avec le bouton droit sur la base de données dans laquelle vous souhaitez ingérer les données. Sélectionnez Obtenir les données.

    Capture d’écran de l’onglet Requête, avec un clic droit sur une base de données et la boîte de dialogue Obtenir les options s’ouvre.

Source

Dans la fenêtre Obtenir des données, l’onglet Source est sélectionné.

Sélectionnez la source de données dans la liste disponible. Dans cet exemple, vous ingérez des données à partir d’un stockage Azure.

Capture d’écran de la fenêtre Obtenir des données avec l’onglet source sélectionné.

Configurer

  1. Sélectionnez une base de données et une table cibles. Si vous souhaitez ingérer des données dans une nouvelle table, sélectionnez +Nouvelle table et entrez un nom de table.

    Remarque

    Les noms de tables peuvent comporter jusqu’à 1024 caractères, y compris des espaces, des caractères alphanumériques, des traits d’union et des traits de soulignement. Les caractères spéciaux ne sont pas pris en charge.

  2. Pour ajouter votre source, sélectionnez Sélectionner un conteneur ou ajouter un URI.

    1. Si vous avez sélectionné Sélectionner un conteneur, renseignez les champs suivants :

      Capture d’écran de l’onglet Configurer avec la nouvelle table entrée et un exemple de fichier de données sélectionné.

      Paramètre Description du champ
      Abonnement ID d’abonnement où se trouve le compte de stockage.
      Compte de stockage Nom qui identifie votre compte de stockage.
      Conteneur Conteneur de stockage que vous souhaitez ingérer.
      Filtres de fichiers (facultatif)
      Chemin d’accès du dossier Filtre les données pour ingérer des fichiers avec un chemin d’accès de dossier spécifique.
      Extension de fichier Filtre les données pour ingérer des fichiers avec une extension de fichier spécifique uniquement.
    2. Si vous avez sélectionné Ajouter un URI, collez votre chaîne de connexion de stockage pour un conteneur d’objets blob ou des fichiers individuels dans le champ URI, puis sélectionnez +.

      Remarque

      • Vous pouvez ajouter jusqu’à 10 objets blob individuels. Chaque objet blob peut être un maximum de 1 Go non compressé.
      • Vous pouvez ingérer jusqu’à 5 000 objets blob provenant d’un seul conteneur.

      Capture d’écran de l’onglet Configurer avec le chaîne de connexion collé dans le champ URI.

  3. Sélectionnez Suivant.

Inspecter

L’onglet Inspecter s’ouvre avec un aperçu des données.

Pour terminer le processus d’ingestion, sélectionnez Terminer.

Capture d’écran de l’onglet Inspecter.

Si vous le souhaitez :

Modifier les colonnes

Remarque

  • Pour les formats tabulaires (CSV, TSV, PSV), vous ne pouvez pas mapper deux fois une même colonne. Pour effectuer un mappage à une colonne existante, commencez par supprimer la nouvelle colonne.
  • Vous ne pouvez pas changer un type de colonne existant. Si vous essayez de mapper à une colonne avec un format différent, vous risquez de vous retrouver avec des colonnes vides.

Les modifications que vous pouvez apporter dans une table dépendent des paramètres suivants :

  • Si le type de la table est nouveau ou existant
  • Si le type du mappage est nouveau ou existant
Type de la table Type de mappage Ajustements disponibles
Nouvelle table Nouveau mappage Renommer une colonne, modifier le type de données, modifier la source de données, transformation de mappage, ajouter une colonne, supprimer une colonne
Table existante Nouveau mappage Ajoutez une colonne (vous pourrez ensuite modifier le type de données, la renommer ou la mettre à jour)
Table existante Mappage existant Aucune

Capture d’écran des colonnes ouvertes pour modification.

Mappage des transformations

Certains mappages de format de données (Parquet, JSON et Avro) prennent en charge des transformations simples au moment de l’ingestion. Pour appliquer des transformations de mappage, créez ou mettez à jour une colonne dans la fenêtre Modifier les colonnes.

Les transformations de mappage peuvent être effectuées sur une colonne de type string ou datetime, avec la source dont le type de données est int ou long. Les transformations de mappage prises en charge sont :

  • DateTimeFromUnixSeconds
  • DateTimeFromUnixMilliseconds
  • DateTimeFromUnixMicroseconds
  • DateTimeFromUnixNanoseconds

Options avancées basées sur le type de données

Tabulaire (CSV, TSV, PSV) :

  • Si vous ingestionnez des formats tabulaires dans une table existante, vous pouvez sélectionner Advanced>Keep current table schema. Les données tabulaires n’incluent pas nécessairement les noms de colonnes utilisés pour mapper les données sources aux colonnes existantes. Quand cette option est activée, le mappage est effectué dans l’ordre et le schéma de la table reste le même. Si cette option est désactivée, des colonnes sont créées pour les données entrantes, quelle que soit la structure de données.

  • Pour utiliser la première ligne comme noms de colonnes, sélectionnez Avancé>La première ligne est l’en-tête de colonne.

    Capture d’écran des options CSV avancées.

JSON :

  • Pour déterminer la division de colonnes des données JSON, sélectionnez Avancé>Niveaux imbriqués, de 1 à 100.

  • Si vous sélectionnez Erreurs>avancées de format de données Ignorer, les données sont ingérées au format JSON. Si vous laissez cette case à cocher désactivée, les données sont ingérées au format multijson.

    Capture d’écran des options JSON avancées.

Résumé

Dans la fenêtre Préparation des données, les trois étapes sont signalées par des coches vertes quand l’ingestion des données s’est terminée avec succès. Vous pouvez afficher les commandes utilisées pour chaque étape, ou sélectionner une carte pour interroger, visualiser ou supprimer les données ingérées.

Capture d’écran de la page de résumé avec l’ingestion des données terminée avec succès.