Importation de données
Dans le monde de la comptabilité et du reporting en matière de développement durable, la transformation et l’importation des données jouent un rôle crucial pour garantir des informations précises, fiables et complètes sur le développement durable. Cependant, les organisations sont souvent confrontées à des défis techniques et commerciaux pour gérer et exploiter efficacement les données de développement durable à des fins de reporting.
Les principaux défis sont notamment :
Granularité et complexité des données : La gestion de diverses données sur la durabilité provenant de plusieurs sources et catégories est essentielle pour créer une image complète et granulaire des progrès en matière d’efficacité environnementale, englobant l’efficacité du carbone, de l’eau et des déchets.
Qualité et cohérence des données : Des données précises, fiables et cohérentes tout au long du parcours de développement durable d’une organisation sont importantes pour des rapports précis et une conformité.
Évolutivité et performances : Gérer et traiter efficacement de grands ensembles de données tout en maintenant des performances optimales est crucial pour les organisations à court et à long terme.
Disponibilité des données : les données peuvent se présenter sous différents formats ou nécessiter une capture manuelle.
En outre, les entreprises sont confrontées à une pression croissante de la part des parties prenantes, des investisseurs, des clients et des organismes de réglementation pour divulguer des informations complètes sur le développement durable. Répondre à ces attentes nécessite des processus efficaces de transformation et d’ingestion des données.
Cette section se concentre sur les dernières améliorations et capacités du processus d’ingestion qui s’appuie sur les capacités existantes de Microsoft Sustainability Manager. Les nouvelles fonctionnalités fournissent une plateforme rationalisée et avancée pour gérer le processus de transformation et d’ingestion de données. Il fournit une interface utilisateur simplifiée, plusieurs méthodes d’ingestion de données, des modèles et des capacités de mappage.
Expérience utilisateur d’importation de données
Une interface utilisateur simplifiée et guidée est une capacité indispensable pour que les organisations puissent réussir la transformation et l’ingestion de leurs données environnementales.
L’expérience d’ingestion de données Sustainability Manager maintient le modèle de données au premier plan pendant l’expérience d’ingestion afin de limiter les erreurs des utilisateurs. Les utilisateurs peuvent profiter de la flexibilité et des multiples méthodes d’ingestion en fonction de leurs besoins et de leurs considérations de conception. De plus, les données peuvent être ingérées dans plusieurs entités et catégories via une importation unique utilisant la même ingestion. Ces mécanismes d’ingestion sont standardisés pour le carbone, l’eau et les déchets.
Un aspect important du processus d’ingestion de données est le découplage de la transformation des données, du mappage des données et de l’importation des données. Ce découplage contribue également à atténuer les risques d’erreurs humaines lors de l’extraction, de la transformation et du chargement des données.
Pendant le processus de connexion des données, les utilisateurs de l’organisation peuvent utiliser la barre latérale des outils de transformation des données pour :
Configurez les jeux de données à importer.
Utilisez des listes de contrôle pour valider les ensembles de données. Les listes de contrôle garantissent une importation réussie des données et résolvent les problèmes liés aux colonnes de données obligatoires, aux incompatibilités de types de données, au remplissage des valeurs groupe d’options et à la recherche de données de référence.
Méthodes d’ingestion intégrées et considérations de conception
Sustainability Manager propose quatre méthodes d’ingestion, en fonction de :
- Type de données
- Valeur
- Besoins en transformation des données
- Niveau d’expérience de l’utilisateur
- Fréquence d’importation
Vous pouvez utiliser ces différentes méthodes en tenant compte des considérations suivantes.
| Méthode et description | Considérations sur la conception | Contexte d’utilisation |
|---|---|---|
| Les modèles Excel sont intégrés à Microsoft Sustainability Manager et les utilisateurs peuvent télécharger, préparer leurs données et les importer dans des entités spécifiques. | Les modèles Excel sont actualisés périodiquement. Nous vous recommandons de télécharger les derniers modèles Excel lors de chaque importation.
Comme les modèles Excel suivent la convention de dénomination du modèle de données, ils ne nécessitent pas de mappage de données avec le modèle. Les modèles Excel représentent la forme la plus simple d’importation de données. Ils conviennent aux jeux de données plus petits qu’un fichier Excel peut prendre en charge et à la préparation initiale du système. Les modèles Excel contiennent un ensemble prédéfini d’entités pour permettre l’importation de données. |
Les modèles Excel sont mieux utilisés lorsque la préparation/transformation des données est effectuée en dehors de Sustainability Manager et que les données sont prêtes pour une importation directe.
Exemple : Contoso Coffee, un fabricant de café peut utiliser les modèles Excel pour configurer ses installations à l’aide du modèle de données de référence, puis procéder à la configuration de ses données d’activité carbone et d’émissions précalculées à l’aide des modèles de données d’activité et d’émissions. Ils peuvent ensuite importer un seul élément des trois types de données en une seule ingestion. |
| Power Query L’expérience guidée est une expérience centrée sur le mappage des données, guidant les utilisateurs finaux avec une expérience de panier d’achat afin de minimiser les erreurs d’ingestion. | Power Query fournit une approche complète de la transformation et de l’ingestion des données, ce qui la rend efficace pour gérer diverses sources de données.
Power Query est avantageux pour les sources de données dotées de connecteurs intégrés disponibles dans Microsoft Sustainability Manager, rationalisant ainsi le processus d’importation de données. L’ Power Query expérience guidée offre une flexibilité et des conseils détaillés tout au long du processus d’ingestion, permettant aux utilisateurs d’ajouter et de supprimer des entités selon leurs besoins. |
À utiliser Power Query lorsque vous devez : - importer des données pour plusieurs entités à partir de diverses sources. - avoir des Power Query connecteurs intégrés disponibles dans Microsoft Sustainability Manager. - nécessitent une importation et une actualisation fréquentes des données - nécessitent une transformation des données pendant le processus d’ingestion. - préférer une expérience guidée avec flexibilité pour la manipulation des entités et le mappage des données. - différents types de sources doivent être gérés avec la transformation des données avant de les mapper au modèle de données. Exemple : Contoso Coffee, un fabricant de café souhaite importer les données d’émissions de son ERP de chaîne d’approvisionnement et les données fournies par le fournisseur dans Azure Synapse. Contoso peut utiliser l’expérience guidée de Power Query pour transformer et mapper à l’aide des conseils détaillés fournis dans l’éditeur. |
| Connecteurs partenaires – sont un catalogue de connecteurs permettant d’importer des données à partir de solutions partenaires. | Sustainability Manager comprend des connecteurs pour importer des données à partir de solutions partenaires.
La plateforme fournit un catalogue des connecteurs prédéfinis et personnalisés à partir de fournisseurs de données opérationnelles. Un aspect important de l’importation de données à l’aide des connecteurs partenaires est que le mappage et la transformation des données sont encapsulés dans le connecteur. Il n’est pas nécessaire de les effectuer lors du processus d’importation. |
À utiliser lorsque vous devez importer des données depuis une solution partenaire et que le connecteur correspondant est présent dans le catalogue.
Exemple : Contoso Coffee utilise la solution cloud de services publics d’Arcadia pour capturer les données d’achat d’électricité et de gaz naturel pour ses installations. Ils utilisent le connecteur Arcadia pour importer les données sur l’électricité achetée dans Sustainability Manager. Ce connecteur leur permet de calculer leurs émissions de scope 2 pour toutes leurs installations mondiales. |
| Importation manuelle des données dans Sustainability Manager | Microsoft Sustainability Manager propose deux méthodes pour importer manuellement des données.
La première méthode permet la saisie d’enregistrements individuels, utiles pour importer des données de configuration telles que des données de référence. La deuxième méthode permet l’importation en masse d’enregistrements d’activités et d’enregistrements de données de référence. Pour le scope 3, la catégorie 8 et la catégorie 13, vous devez sélectionner la sous-catégorie de données pour accéder aux options de téléchargement groupé. Quand vous mettez à jour les enregistrements des données d’activité, vous devez d’abord supprimer les données déjà importées et réimporter toutes les données. |
Pensez à utiliser les options d’importation manuelle de données dans Sustainability Manager lorsque vous devez importer des enregistrements individuels de données sur les activités, l’eau ou les déchets. Utilisez également ces options lorsque vous souhaitez importer des données de référence ou lorsque vous disposez d’un grand volume de données d’activité à importer en masse. Si vous disposez de formats de données spécifiques pour l’importation groupée, tels qu’Excel, CSV ou XML, l’option de téléchargement groupé manuel est le choix idéal. Par exemple, un spécialiste du développement durable qui configure les données de l’organisation accède à Paramètres > Profil de l’entreprise > Général pour définir manuellement les attributs de l’organisation. |
Le tableau suivant résume les considérations de conception pour les organisations lors de la conception de leur processus d’importation de données. Nous vous recommandons d’examiner attentivement les avantages et les inconvénients de chaque méthode d’ingestion ainsi que leurs compromis de conception.
| Méthode d’ingestion | Modèles Excel | Expérience guidée Power Query | Connecteurs partenaires | Saisie manuelle |
|---|---|---|---|---|
| Personnages d’utilisateurs typiques | Personnalités d’affaires | Personas commerciaux/techniques | Personnages techniques | Personnalités d’affaires |
| Peut être planifiées | ✗ | ✓ | ✓ | ✗ |
| Volume de chargement des données | Bloc | Bloc | Bloc | Unique, en vrac |
| Autorise la transformation des données ? | ✗ | ✓ | ✗ | ✗ |
| Fournit une actualisation incrémentielle ? | ✗ | ✓ | ✓ | ✗ |
| Pendant l’importation, les données remplacent-elles ? | ✗ | ✓ | ✗ | ✗ |
| Peut-on importer plusieurs entités ? | ✓ | ✓ | ✗* | ✗ |
| Fournit une gestion des erreurs d’ingestion ? | ✓ | ✓ | ✓ | S.o. |
Note
L’importation de plusieurs entités à l’aide des connecteurs partenaires en une seule ingestion figure dans la feuille de route du produit.
Pour en savoir plus, consultez Aperçu de l’importation de données dans Microsoft Sustainability Manager.
En résumé, les considérations suivantes sont importantes lors de l’importation de données dans Microsoft Sustainability Manager :
Commencez par la méthode de modèle Excel plus simple pour l’expérience d’ingestion. En fonction de la complexité des données et de la compréhension du modèle de données, évoluez pour créer des importations de données continues à l’aide du Power Query expérience guidée.
Pendant le Power Query expérience d’ingestion guidée, gardez les conseils suivants à l’esprit :
- Utilisez le Power Query capacités pour effectuer les transformations de données.
- Utilisez les outils de transformation des données et la liste de contrôle pour examiner les tableaux de données et leurs types de données respectifs.
- Lors du mappage des données source, utilisez la fonction de mappage automatique.
Planifiez les plages horaires et les règles d’actualisation pour permettre l’importation continue des données requises une fois la connexion créée et validée.
Actualisation incrémentielle et complète des données
L’importation périodique de données à partir de sources de données est une nécessité pour les organisations afin de calculer leurs données de développement durable les plus récentes à des fins de reporting. Les organisations peuvent obtenir des données de leurs systèmes sources selon deux modes.
Actualisation complète des données : Importez une copie complète des données du système source dans l’application Microsoft Sustainability Manager.
Actualisation incrémentielle des données : Récupérez et importez uniquement les enregistrements mis à jour ou nouvellement créés à partir des systèmes sources depuis la dernière actualisation.
L’actualisation incrémentielle des données permet aux organisations d’introduire de nouvelles données lorsqu’elles sont disponibles pour chaque actualisation des données. Les organisations peuvent également opter pour une actualisation complète si les données doivent être entièrement actualisées à chaque requête. Cette fonctionnalité n’est disponible que pour l’importation basée sur Power Query .
Pour tirer parti de cette fonctionnalité intégrée, créez des stratégies d’actualisation lors de la création de la connexion pour les sources de données. Microsoft Sustainability Manager fournit cette fonctionnalité pour Power Query méthode d’importation basée. Pendant le processus de création d’une connexion, les utilisateurs peuvent définir le calendrier et la fréquence d’exécution des tâches d’importation de données et sélectionner l’option permettant de supprimer les données précédemment importées si nécessaire. Cette action donne la possibilité de programmer une actualisation incrémentielle.
L’actualisation complète des données est recommandée dans les situations suivantes :
Lorsque le modèle de données des systèmes sources subit des modifications, ces modifications doivent être reflétées dans l’application de transformation ou de mappage de données.
Lorsque les données sources ont changé de manière significative et que l’actualisation incrémentielle n’est pas suffisante pour capturer les modifications.
Lorsque la logique métier du système source a été modifiée et que les données existantes doivent être recalculées.
Lorsque la qualité ou l’intégrité des données a été compromise en raison d’erreurs, de corruption ou d’attaques malveillantes.
L’actualisation incrémentielle des données est recommandée dans les situations suivantes :
Lorsque les organisations nécessitent une importation groupée de données à partir de plusieurs sources de données
Lorsque les organisations nécessitent une actualisation rapide des données en fonction de délais spécifiques
Lorsque les systèmes sources fournissent des données historiques et cumulatives et que les organisations doivent importer des données nouvellement disponibles (insertion ou insertion) après le chargement initial des données
Par exemple, si Sustainability Manager ingère des données à partir de fichiers Excel dans une SharePoint bibliothèque de documents, mise à jour par les fournisseurs, il nécessite une politique d’actualisation pour consommer périodiquement les données les plus récentes.
Tandis que la planification au niveau de la connexion de données fournit un moyen de concevoir un calendrier d’importation de données. Cela ne résout pas le problème de la récupération uniquement des données delta à partir de divers systèmes sources. Grâce au processus d’actualisation incrémentielle, les administrateurs de données peuvent configurer des règles granulaires pour récupérer uniquement les données incrémentielles. Le processus peut fournir des filtres, des règles et des horodatages supplémentaires à chaque niveau de requête dans une connexion de données.
Pour plus d’informations sur l’actualisation incrémentielle, accédez à Actualisation incrémentielle dans Microsoft Sustainability Manager
Connectivité réseau aux sources de données
Lors de la conception de stratégies d’importation de données, les organisations sont souvent confrontées au défi de se connecter de manière sécurisée et efficace à des sources de données distantes. Ces sources de données distantes peuvent se trouver dans le cloud ou local. Les différentes normes et mesures de sécurité utilisées par les organisations pour protéger leurs données aggravent encore ce défi. Ainsi, les composants réseau nécessitent un examen attentif de diverses options pour garantir la sécurité et la fiabilité des données.
Cette section aborde deux méthodes de connexion à des sources de données distantes. Ces sources de données peuvent exister dans Azure Cloud au sein d’un réseau virtuel ou dans un emplacement local. Pour se connecter de Sustainability Manager à Azure Data Services au sein d’un réseau virtuel, les organisations peuvent utiliser la passerelle de données du réseau virtuel. Pour connecter aux sources de données locales, utilisez passerelle de données locale.
Le tableau suivant présente certains des sujets de mise en réseau importants et des considérations de conception lors de l’importation de données à partir d’une source distante située dans une infrastructure local :
| Sujet | Considération sur la conception |
|---|---|
| Passerelle de données réseau virtuel | Utilisez une passerelle de données de réseau virtuel pour vous connecter à des sources de données situées dans Azure et sécurisées par un réseau virtuel. Cette approche peut être utile lorsque la source de données n’est pas accessible au public.
Pour savoir comment configurer la passerelle de données du réseau virtuel, accédez à Utiliser la passerelle de données du réseau virtuel et les sources de données |
| Passerelle de données locale | Utilisez les passerelles sur site comme pont sécurisé entre les sources de données de développement durable local et Sustainability Manager. Vous devez télécharger, installer et configurer la passerelle de données locale.
Pour plus d’information, accédez à Qu’est-ce qu’une passerelle de données locale ? |
| Authentification aux sources de données | Donner la priorité à un mécanisme d’authentification forte pour accéder aux données sur la durabilité. Évitez d’utiliser des informations d’identification faibles et envisagez d’utiliser l’authentification Windows ou OAuth pour une sécurité renforcée. |
| Ajouter des adresses IP à la liste autorisée depuis les appels sortants local source de données | Assurez-vous de la liste autorisée des adresses IP pour activer la communication sortante entre les ressources local et Sustainability Manager.
Pour examiner les plages d’adresses IP à ajouter à la liste verte, accédez à Adresses IP sortantes des connecteurs gérés |
| Performances | Optimisez les requêtes pour minimiser les données transférées sur le réseau. Les requêtes optimisées réduisent la latence, augmentent les performances et préservent les ressources réseau. |
| Surveillance et audits | Prévenez les failles de sécurité en mettant en œuvre la surveillance et la journalisation des passerelles et en effectuant des examens périodiques avec les parties prenantes de la sécurité de l’organisation.
Pour en savoir plus sur la collecte des journaux de la passerelle de données, accédez à Dépanner la passerelle de données local |
En résumé, il est essentiel de faire des choix de conception de réseau sécurisés et fiables pour garantir un mécanisme d’importation robuste pour les sources de données distantes. Il s’agit notamment d’effectuer les étapes nécessaires pour :
- Installez des passerelles pour les sources de données local distantes et les sources de données hébergées sur un réseau virtuel sécurisé par Azure.
- Utiliser des mécanismes d’authentification forts.
- Ajoutez à la liste verte les adresses IP sortantes pour activer la communication à partir des emplacements de données local.
- Minimisez les données transférées sur le réseau.
- Effectuer des audits de sécurité réguliers.
Gestion des erreurs
La gestion des erreurs lors de l’importation des données joue un rôle essentiel pour garantir que vos données sont importées correctement et que les tableaux de bord affichent les dernières informations pour les rapports de développement durable et analytique. Sustainability Manager permet aux utilisateurs de revoir et de corriger les erreurs dans l’importation de données. Ces rapports d’erreur sont désormais disponibles pour les trois types d’importation, les modèles, le flux guidé Power Query et l’expérience des partenaires.
Pour plus d’informations, accédez à Gestion des erreurs d’importation de données dans Microsoft Sustainability Manager