Copier et transformer des données de Microsoft 365 (Office 365) vers Azure Data Factory ou Synapse Analytics

S’APPLIQUE À : Azure Data Factory Azure Synapse Analytics

Les pipelines Azure Data Factory et Synapse Analytics s’intègrent à Microsoft Graph data connect et vous permettent de transférer de façon progressive vers Azure les données de votre organisation présentes dans votre locataire Microsoft 365 (Office 365), de créer des applications d’analytique et d’extraire des insights basés sur ces riches ressources de données. L’intégration avec Privileged Access Management fournit un contrôle d’accès sécurisé pour les données organisées dans Microsoft 365 (Office 365). Consultez ce lien pour obtenir une vue d’ensemble de la Connexion aux données Microsoft Graph.

Cet article explique comment utiliser l’activité de copie pour copier des données, et un flux de données pour transformer des données de Microsoft 365 (Office 365). Pour une introduction à la copie de données, lisez la vue d’ensemble de l’activité de copie. Pour une introduction à la transformation de données, consultez la vue d’ensemble du mappage de flux de données.

Fonctionnalités prises en charge

Ce connecteur Microsoft 365 (Office 365) est pris en charge pour les fonctionnalités suivantes :

① Runtime d’intégration Azure ② Runtime d’intégration auto-hébergé

Le connecteur ADF Microsoft 365 (Office 365) et les technologies Connexion aux données Microsoft Graph permettent l’ingestion à grande échelle de différents types de jeux de données à partir de boîtes aux lettres prenant en charge l’e-mail Exchange, notamment le carnet d’adresses, les événements de calendrier, les messages, les informations utilisateur, les paramètres de boîte aux lettres, etc. Reportez-vous ici pour voir la liste complète des jeux de données disponibles.

Actuellement, au sein d’une activité de copie et d’un flux de données, vous pouvez seulement ingérer des données depuis Microsoft 365 (Office 365) dans Stockage Blob Azure, Azure Data Lake Storage Gen1 et Azure Data Lake Storage Gen2 au format JSON (type setOfObjects). Lorsque vous copiez vers un Stockage Blob Azure, la sortie est un blob contenant du texte JSON. Si vous voulez charger des données Microsoft 365 (Office 365) dans d’autres types de banques de données ou dans d’autres formats, vous pouvez faire suivre la première activité de copie ou le flux de données d’une autre activité pour charger les données dans un des magasins de données de destination ADF pris en charge (reportez-vous à la colonne « pris en charge en tant que récepteur » du tableau « Magasins de données et formats pris en charge »).

Prérequis

Pour copier et transformer des données depuis Microsoft 365 (Office 365) dans Azure, vous devez effectuer les étapes préalables suivantes :

• L’administrateur de votre locataire Microsoft 365 (Office 365) doit effectuer des actions d’intégration comme décrit ici.
• Créez et configurez une application web Microsoft Entra dans l’ID Microsoft Entra. Pour obtenir des instructions, consultez Créer une application Microsoft Entra.
• Prenez note des valeurs suivantes, que vous utilisez afin de définir le service lié pour Microsoft 365 (Office 365) :
  • ID de locataire. Pour obtenir des instructions, consultez Obtenir l’ID de locataire.
  • ID d’application et clé d’application. Pour obtenir des instructions, consultez Obtenir un ID d’application et une clé d’authentification.
• Ajoutez l’identité de l’utilisateur qui effectue la requête d’accès aux données en tant que propriétaire de l’application web Microsoft Entra (à partir de l’application web Microsoft Entra > Paramètres > Propriétaires > Ajouter un propriétaire).
  • L’identité de l’utilisateur doit se trouver dans l’organisation Microsoft 365 (Office 365) à partir de laquelle vous obtenez des données et ne doit pas être un utilisateur Invité.

Approbation de nouvelles demandes d’accès aux données

Si c’est la première fois que vous demandez des données pour ce contexte (une combinaison de la table de données consultée, du compte de destination dans lequel les données sont chargées et de l’identité de l’utilisateur à l’origine de la demande d’accès aux données), vous voyez l’activité de copie avec l’état « En cours d’exécution », et l’état ne devient « RequestingConsent » que quand vous cliquez sur le lien « Détails » sous Actions. Un membre du groupe d’approbateurs pour l’accès aux données doit approuver la requête dans Privileged Access Management pour permettre l’extraction de données.

Reportez-vous ici pour savoir comment l’approbateur peut approuver la demande d’accès aux données.

Mise en route

Vous pouvez créer un pipeline avec l’activité de copie et un flux de données à l’aide d’un des outils ou kits de développement logiciel suivants. Sélectionnez un lien pour accéder à un didacticiel contenant des instructions détaillées pour créer un pipeline avec une activité de copie.

• Azure portal
• Kit de développement logiciel (SDK) .NET
• Kit de développement logiciel (SDK) Python
• Azure PowerShell
• REST API
• Modèle Azure Resource Manager

Créer un service lié à Microsoft 365 (Office 365) à l’aide de l’interface utilisateur

Utilisez les étapes suivantes pour créer un service lié à Microsoft 365 (Office 365) dans l’interface utilisateur du portail Azure.

1. Accédez à l’onglet Gérer dans votre espace de travail Azure Data Factory ou Synapse, sélectionnez Services liés, puis cliquez sur Nouveau :

   • Azure Data Factory.
   • Azure Synapse

   

2. Recherchez Microsoft 365 (Office 365) et sélectionnez le connecteur Microsoft 365 (Office 365).

   

3. Configurez les informations du service, testez la connexion et créez le nouveau service lié.

   

Détails de configuration du connecteur

Les sections suivantes fournissent des informations détaillées sur les propriétés utilisées pour définir les entités Data Factory spécifiques du connecteur Microsoft 365 (Office 365).

Propriétés du service lié

Les propriétés prises en charge pour le service lié Microsoft 365 (Office 365) sont les suivantes :

Exemple :

{
    "name": "Office365LinkedService",
    "properties": {
        "type": "Office365",
        "typeProperties": {
            "office365TenantId": "<Microsoft 365 (Office 365) tenant id>",
            "servicePrincipalTenantId": "<AAD app service principal tenant id>",
            "servicePrincipalId": "<AAD app service principal id>",
            "servicePrincipalKey": {
                "type": "SecureString",
                "value": "<AAD app service principal key>"
            }
        }
    }
}

Propriétés du jeu de données

Pour obtenir la liste complète des sections et propriétés disponibles pour la définition de jeux de données, consultez l’article sur les jeux de données. Cette section contient la liste des propriétés prises en charge par le jeu de données Microsoft 365 (Office 365).

Pour copier des données à partir de Microsoft 365 (Office 365), les propriétés suivantes sont prises en charge :

Si vous avez défini dateFilterColumn, startTime, endTime et userScopeFilterUri dans le jeu de données, il reste pris en charge tel quel, mais nous vous suggérons d’utiliser le nouveau modèle dans la source d’activité à l’avenir.

Exemple

{
    "name": "DS_May2019_O365_Message",
    "properties": {
        "type": "Office365Table",
        "linkedServiceName": {
            "referenceName": "<Microsoft 365 (Office 365) linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [],
        "typeProperties": {
            "tableName": "BasicDataSet_v0.Event_v1"
        }
    }
}

Propriétés de l’activité de copie

Pour obtenir la liste complète des sections et des propriétés disponibles pour la définition des activités, consultez l’article Pipelines. Cette section contient la liste des propriétés prises en charge par une source Microsoft 365 (Office 365).

Microsoft 365 (Office 365) comme source

Si vous souhaitez copier des données à partir de Microsoft 365 (Office 365), les propriétés suivantes sont prises en charge dans la section source de l’activité de copie :

Exemple :

"activities": [
    {
        "name": "CopyFromO365ToBlob",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Microsoft 365 (Office 365) input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "Office365Source",
                "dateFilterColumn": "CreatedDateTime",
                "startTime": "2019-04-28T16:00:00.000Z",
                "endTime": "2019-05-05T16:00:00.000Z",
                "userScopeFilterUri": "https://graph.microsoft.com/v1.0/users?$filter=Department eq 'Finance'",
                "outputColumns": [
                    {
                        "name": "Id"
                    },
                    {
                        "name": "CreatedDateTime"
                    },
                    {
                        "name": "LastModifiedDateTime"
                    },
                    {
                        "name": "ChangeKey"
                    },
                    {
                        "name": "Categories"
                    },
                    {
                        "name": "OriginalStartTimeZone"
                    },
                    {
                        "name": "OriginalEndTimeZone"
                    },
                    {
                        "name": "ResponseStatus"
                    },
                    {
                        "name": "iCalUId"
                    },
                    {
                        "name": "ReminderMinutesBeforeStart"
                    },
                    {
                        "name": "IsReminderOn"
                    },
                    {
                        "name": "HasAttachments"
                    },
                    {
                        "name": "Subject"
                    },
                    {
                        "name": "Body"
                    },
                    {
                        "name": "Importance"
                    },
                    {
                        "name": "Sensitivity"
                    },
                    {
                        "name": "Start"
                    },
                    {
                        "name": "End"
                    },
                    {
                        "name": "Location"
                    },
                    {
                        "name": "IsAllDay"
                    },
                    {
                        "name": "IsCancelled"
                    },
                    {
                        "name": "IsOrganizer"
                    },
                    {
                        "name": "Recurrence"
                    },
                    {
                        "name": "ResponseRequested"
                    },
                    {
                        "name": "ShowAs"
                    },
                    {
                        "name": "Type"
                    },
                    {
                        "name": "Attendees"
                    },
                    {
                        "name": "Organizer"
                    },
                    {
                        "name": "WebLink"
                    },
                    {
                        "name": "Attachments"
                    },
                    {
                        "name": "BodyPreview"
                    },
                    {
                        "name": "Locations"
                    },
                    {
                        "name": "OnlineMeetingUrl"
                    },
                    {
                        "name": "OriginalStart"
                    },
                    {
                        "name": "SeriesMasterId"
                    }
                ]
            },
            "sink": {
                "type": "BlobSink"
            }
        }
    }
]

Transformer des données avec le connecteur Microsoft 365

Des jeux de données Microsoft 365 peuvent être utilisés comme source avec des flux de données de mappage. Le flux de données transforme automatiquement les données en aplatissant le jeu de données. Cela permet aux utilisateurs de se concentrer sur l’utilisation du jeu de données aplati pour accélérer leurs scénarios d’analyse.

Propriétés du mappage de flux de données

Pour créer un flux de données de mappage en utilisant le connecteur Microsoft 365 comme source, procédez comme suit :

1. Dans ADF Studio, accédez à la section Flux de données du hub Auteur, sélectionnez le bouton ... pour dérouler le menu Actions du flux de données, puis sélectionnez l’élément Nouveau flux de données. Activez le mode débogage avec le bouton Débogage du flux de données dans la barre supérieure du canevas de flux de données.

   

2. Dans l’éditeur de flux de données de mappage, sélectionnez Ajouter une source.

   

3. Sous l’onglet Paramètres de la source, sélectionnez Inline dans la propriété Type de source, Microsoft 365 (Office 365) dans Type de jeu de données inclus, et le service lié Microsoft 365 que vous avez créé précédemment.

   

4. Sous l’onglet Options de la source, sélectionnez le Nom de table de la table Microsoft 365 que vous souhaitez transformer. Sélectionnez également l’option Aplatir automatiquement pour indiquer que vous souhaitez que le flux de données aplatisse automatiquement le jeu de données source.

   

5. Pour les onglets Projection, Optimiser et Inspecter, suivez le flux de données de mappage.

6. Sous l’onglet Aperçu des données, cliquez sur le bouton Actualiser afin d’extraire un échantillon de jeu de données pour validation.

Contenu connexe

Pour obtenir une liste des magasins de données pris en charge comme sources et récepteurs par l’activité de copie, consultez la section sur les magasins de données pris en charge.