Importação de dados
No mundo da contabilidade e dos relatórios de sustentabilidade, a transformação e importação de dados desempenham papéis cruciais para garantir insights de sustentabilidade precisos, confiáveis e abrangentes. No entanto, as organizações enfrentam frequentemente desafios técnicos e empresariais na gestão e aproveitamento eficazes de dados de sustentabilidade para efeitos de elaboração de relatórios.
Alguns dos desafios-chave incluem:
Granularidade e complexidade dos dados: o gerenciamento de diversos dados de sustentabilidade de múltiplas fontes e categorias é essencial para criar uma imagem abrangente e granular do progresso da eficiência ambiental, abrangendo eficiência de carbono, água e resíduos.
Qualidade e consistência dos dados: dados precisos, confiáveis e consistentes ao longo da jornada de sustentabilidade de uma organização são importantes para relatórios e conformidade precisos.
Escalabilidade e desempenho: o manuseio e o processamento eficientes de grandes conjuntos de dados e, ao mesmo tempo, a manutenção do desempenho ideal são cruciais para as organizações no curto e no longo prazo.
Disponibilidade de dados: os dados podem vir em diferentes formatos ou exigir que sejam capturados manualmente.
Além disso, as empresas enfrentam uma pressão crescente de stakeholders, investidores, clientes e órgãos reguladores para divulgar informações abrangentes sobre sustentabilidade. Cumprimento dessas expectativas requer processos eficientes de transformação e ingestão de dados.
Esta seção se concentra nos aprimoramentos e recursos mais recentes do processo de ingestão que se baseia nos recursos existentes do Microsoft Sustainability Manager. Os novos recursos fornecem uma plataforma simplificada e avançada para gerenciar o processo de transformação e ingestão de dados. Ele fornece uma interface de usuário simplificada, vários métodos de ingestão de dados, modelos e recursos de mapeamento.
Experiência do usuário na importação de dados
Uma interface de usuário simplificada e orientada é um recurso muito necessário para que as organizações executem com êxito a transformação de dados e a ingestão de seus dados ambientais.
A experiência de ingestão de dados do Sustainability Manager mantém o modelo de dados em primeiro plano durante a experiência de ingestão para limitar erros do usuário. Os usuários podem aproveitar a flexibilidade e os vários métodos de ingestão com base em seus requisitos e considerações de design. Além disso, os dados podem ser ingeridos em diversas entidades e categorias por meio de uma importação única usando a mesma ingestão. Esses mecanismos de ingestão são padronizados em carbono, água e resíduos.
Um aspecto importante do processo de ingestão de dados é a dissociação entre transformação de dados, mapeamento de dados e importação de dados. Essa dissociação também ajuda a mitigar os riscos de erros humanos na extração, transformação e carregamento dos dados.
Durante o processo de conexão de dados, os usuários da organização podem utilizar a barra lateral das ferramentas de transformação de dados para:
Configurar conjuntos de dados a serem importados.
Usar listas de verificação para validar conjuntos de dados. As listas de verificação garantem uma importação de dados bem-sucedida e abordam problemas relacionados a colunas de dados obrigatórias, incompatibilidades de tipos de dados, preenchimento de valores conjunto de opções e pesquisa de dados de referência.
Métodos de ingestão integrados e considerações de design
O Sustainability Manager fornece quatro métodos de ingestão, dependendo de:
- Tipo de dados
- Source
- Necessidades da transformação de dados
- Nível da experiência do usuário
- Frequência de importação
Você pode usar esses diferentes métodos com as seguintes considerações:
| Método e descrição | Considerações sobre o design | Use quando |
|---|---|---|
| Modelos do Excel são integrados ao Microsoft Sustainability Manager e os usuários podem fazer download, preparar seus dados e importá-los para entidades específicas. | Os modelos do Excel são atualizados periodicamente. Recomendamos que você baixe os modelos Excel mais recentes durante cada importação.
Como seguem a convenção de nomenclatura do modelo de dados, os modelos do Excel não exigem mapeamento de dados para o modelo. Os modelos do Excel representam a forma mais simples de importação de dados. Eles são adequados para conjuntos menores de dados que um arquivo Excel pode suportar e para a preparação inicial do sistema. Os modelos do Excel contêm um conjunto predefinido de entidades para permitir a importação de dados. |
Os modelos do Excel são mais bem usados quando a preparação/transformação dos dados é feita fora do Sustainability Manager e os dados estão prontos para importação direta.
Exemplo: a Contoso Coffee, uma fabricante de café, pode usar os modelos do Excel para configurar suas instalações usando o modelo de dados de referência e, em seguida, prosseguir com a configuração da atividade de carbono e dos dados de emissões pré-calculadas usando os modelos de dados de atividades e emissões. Assim, eles podem importar um item de todos os três tipos de dados com uma única ingestão. |
| Experiência guiada do Power Query é uma experiência centrada em mapeamento de dados, orientando os usuários finais com uma experiência de carrinho de compras para minimizar erros de ingestão. | O Power Query fornece uma abordagem abrangente para transformação e ingestão de dados, tornando-o eficiente para lidar com diversas fontes de dados.
Power Query é benéfico para fontes de dados que possuem conectores integrados disponíveis no Microsoft Sustainability Manager, simplificando o processo de importação de dados. A experiência guiada do Power Query oferece flexibilidade e orientação detalhada durante todo o processo de ingestão, permitindo que os usuários adicionem e removam entidades conforme necessário. |
Use o Power Query quando precisar: – importe dados para diversas entidades de diversas fontes. – possuem conectores do Power Query integrados disponíveis no Microsoft Sustainability Manager. – exigem importação e atualização de dados frequentes – precisam de transformação de dados durante o processo de ingestão. – prefira experiência guiada com flexibilidade para manipulação de entidades e mapeamento de dados. – diferentes tipos de origem precisam ser tratados com a transformação de dados antes do mapeamento para o modelo de dados. Exemplo: a Contoso Coffee, um fabricante de café deseja importar os dados de emissões do ERP da cadeia de fornecedores e os dados fornecidos pelo fornecedor no Azure Synapse. A Contoso pode usar a experiência guiada do Power Query para transformar e mapear usando a orientação detalhada fornecida no editor. |
| Conectores de parceiros – são um catálogo de conectores para importar dados de soluções de parceiros. | O Sustainability Manager inclui conectores para importar dados de soluções de parceiros.
A plataforma oferece um catálogo robusto de conectores pré-construídos e personalizados de provedores de dados operacionais. Um aspecto importante da importação de dados usando os conectores de parceiro é que o mapeamento e a transformação de dados são encapsulados no conector. Eles não precisam ser executados durante o processo de importação. |
Use quando precisar importar dados de uma solução de parceiro e o conector correspondente estiver presente no catálogo.
Exemplo: a Contoso Coffee usa a solução de nuvem do utilitário da Arcadia para capturar dados adquiridos de eletricidade e gás natural para suas instalações. Eles utilizam o conector Arcadia para importar dados de eletricidade adquirida para o Sustainability Manager. Este conector permite calcular as emissões de escopo 2 para todas as suas instalações globais. |
| Importação manual de dados para o Sustainability Manager | O Microsoft Sustainability Manager fornece dois métodos para importar dados manualmente.
O primeiro método permite a entrada de registros individuais, úteis para importar dados de configuração, como dados de referência. O segundo método permite a importação em massa de registros de atividade e registros de dados de referência. Para escopo 3, categoria 8 e categoria 13, você precisa selecionar a subcategoria de dados para acessar as opções de upload em massa. Ao atualizar registros de dados de atividade, você deve excluir dados importados previamente e reimportar todos os dados. |
Considere usar as opções de importação manual de dados no Sustainability Manager quando precisar importar registros individuais de dados de atividade, água ou resíduos. Além disso, utilize essas opções quando quiser importar dados de referência ou quando tiver um grande volume de dados de atividades para importar em massa. Se você tiver formatos de dados específicos para importação em massa, como Excel, CSV ou XML, a opção de upload em massa manual é a escolha ideal. Por exemplo, um especialista em sustentabilidade que configura os dados da organização vai para Configurações > Perfil da empresa > Em geral para definir manualmente os atributos da organização. |
A tabela a seguir resume as considerações de design para organizações ao projetarem seu processo de importação de dados. Recomendamos que você considere cuidadosamente os prós e os contras de cada método de ingestão e suas compensações de design.
| Método de ingestão | Modelos do Excel | Experiência guiada do Power Query | Conectores de parceiros | Entrada manual |
|---|---|---|---|---|
| Personas de usuário típicas | Pessoas de negócios | Personas comerciais/técnicas | Personas técnicas | Pessoas de negócios |
| Não pode ser agendado? | ✗ | ✓ | ✓ | ✗ |
| Volume do carregamento de dados | Em massa | Em massa | Em massa | Único, em massa |
| Permite transformação de dados? | ✗ | ✓ | ✗ | ✗ |
| Oferece atualização incremental? | ✗ | ✓ | ✓ | ✗ |
| Dados substituídos durante a importação? | ✗ | ✓ | ✗ | ✗ |
| Pode importar múltiplas entidades? | ✓ | ✓ | ✗* | ✗ |
| Fornece tratamento de erros de ingestão? | ✓ | ✓ | ✓ | ND |
Observação
A importação de várias entidades usando os conectores de parceiros em uma única ingestão está no roteiro do produto.
Para saber mais, revise Visão geral da importação de dados no Microsoft Sustainability Manager.
Em resumo, as seguintes considerações são importantes ao importar dados para o Microsoft Sustainability Manager:
Comece com o método de modelo mais simples do Excel para experiência de ingestão. Com base na complexidade dos dados e na compreensão do modelo de dados, evolua para criar importações contínuas de dados usando a experiência guiada do Power Query.
Durante a experiência de ingestão guiada do Power Query, lembre-se das seguintes dicas:
- Use os recursos do Power Query para realizar as transformações de dados.
- Use as ferramentas de transformação de dados e a lista de verificação para revisar as tabelas de dados e seus respectivos tipos de dados.
- Ao mapear os dados de origem, use o recurso de mapeamento automático.
Programe os intervalos de tempo e as regras de atualização para permitir a importação contínua dos dados necessários assim que uma conexão for criada e validada.
Atualização de dados completa e incremental
A importação periódica de dados de fontes de dados é uma necessidade para as organizações calcularem os seus dados de sustentabilidade mais recentes para fins de relatórios. As organizações podem obter dados de seus sistemas de origem de dois modos.
Atualização completa de dados: importe uma cópia completa dos dados do sistema de origem para o aplicativo Microsoft Sustainable Manager.
Atualização incremental de dados: busque e importe apenas os registros atualizados ou recém-criados dos sistemas de origem desde a última atualização.
A atualização incremental de dados permite que as organizações tragam novos dados quando estiverem disponíveis para cada atualização de dados. As organizações também podem optar pela atualização completa caso os dados precisem ser totalmente atualizados durante cada consulta. Esse recurso está disponível apenas para importação baseada no Power Query .
Para aproveitar esse recurso interno, é necessário criar políticas de atualização durante a criação da conexão para fontes de dados. O Microsoft Sustainability Manager fornece esse recurso para métodos de importação baseados no Power Query . Durante o processo de criação de uma conexão, os usuários podem definir agendamento e frequência para executar os trabalhos de importação de dados e selecionar a opção de remover dados importados anteriormente, se necessário. Esta ação permite agendar uma atualização incremental.
A atualização completa dos dados é recomendada para as seguintes situações:
Quando o modelo de dados dos sistemas de origem sofre alguma alteração, as alterações precisam ser refletidas no aplicativo para transformações ou mapeamento de dados.
Quando os dados de origem foram alterados significativamente e a atualização incremental não é suficiente para capturar as alterações.
Quando a lógica de negócios do sistema de origem foi modificada e os dados existentes precisam ser recalculados.
Quando a qualidade ou a integridade dos dados foi comprometida devido a erros, corrupção ou ataques maliciosos.
A atualização incremental dos dados é recomendada para as seguintes situações:
Quando as organizações exigem importação em massa de dados de diversas fontes de dados
Quando as organizações exigem atualização oportuna de dados com base em cronogramas específicos
Quando os sistemas de origem fornecem dados históricos e cumulativos e as organizações precisam importar dados recém-disponíveis (inserção ou upsert) após o carregamento inicial de dados
Por exemplo, se o Sustainability Manager estiver ingerindo dados de arquivos do Excel em uma biblioteca de documentos do SharePoint, atualizada pelos fornecedores, será necessária uma política de atualização para consumir os dados mais recentes periodicamente.
Enquanto o agendamento no nível da conexão de dados fornece uma maneira de projetar o agendamento de importação de dados. Isso não resolve o problema de buscar apenas os dados delta de vários sistemas de origem. Com o processo de atualização incremental, os administradores de dados podem configurar regras granulares para buscar apenas os dados incrementais. O processo pode fornecer filtros, regras e carimbos de data/hora extras em cada nível de consulta em uma conexão de dados.
Para saber mais sobre atualização incremental, vá até Atualização de dados incremental no Microsoft Sustainability Manager
Conectividade de rede com fontes de dados
Durante a concepção de estratégias de importação de dados, as organizações muitas vezes enfrentam o desafio de se conectarem de forma segura e eficiente a fontes de dados remotas. Essas fontes de dados remotas podem estar na nuvem ou no local. Os diferentes padrões e medidas de segurança que as organizações utilizam para proteger os seus ativos de dados agravam ainda mais esse desafio. Assim, os componentes de rede exigem uma consideração cuidadosa de várias opções para garantir a segurança e a confiabilidade dos dados.
Esta seção aborda dois métodos de conexão com fontes de dados remotas. Estas fontes de dados podem existir no Azure Cloud dentro de uma rede virtual ou podem existir em um local. Para se conectar do Sustainability Manager ao Azure Data Services em uma rede virtual, as organizações podem usar o gateway de dados de rede virtual. Para se conectar às fontes de dados no local, você pode usar o gateway de dados local.
A tabela a seguir constrói alguns dos tópicos de rede importantes e considerações de design ao importar dados de uma fonte remota localizada em uma infraestrutura local:
| Tópico | Consideração sobre design |
|---|---|
| Gateway de dados de rede virtual | Use um gateway de dados de rede virtual para se conectar a fontes de dados localizadas no Azure e protegidas por uma rede virtual. Essa abordagem pode ser útil quando a fonte de dados não está acessível publicamente.
Para saber como configurar o gateway de dados de rede virtual, acesse Usar gateway de dados de rede virtual e fontes de dados |
| Gateway de dados local | Use gateways locais como uma ponte segura entre as fontes de dados de sustentabilidade local e o Sustainability Manager. Você precisa fazer download, instalar e configurar o gateway de dados local.
Para saber mais, vá até O que é um gateway de dados local? |
| Autenticação da fontes de dados | Priorize um mecanismo de autenticação forte para acessar dados de sustentabilidade. Evite usar credenciais fracas e considere usar a autenticação baseada no Windows ou em OAuth para aumentar a segurança. |
| Adicionar IPs à lista de permitidos da fonte de dados local de saída | Garanta a lista de permissões de endereços IP para permitir a comunicação de saída entre os recursos locais e o Sustainability Manager.
Para revisar intervalos de endereços IP para lista de permissões, acesse Endereços IP de saída de conectores gerenciados |
| Performance | Otimize consultas para minimizar os dados transferidos pela rede. As consultas otimizadas reduzem a latência, aumentam o desempenho e conservam os recursos da rede. |
| Monitoramento e auditoria | Evite violações de segurança implementando monitoramento e registro em gateways e conduzindo revisões periódicas com os stakeholders na segurança da organização.
Para saber mais sobre como coletar logs do gateway de dados, acesse Solucionar problemas do gateway de dados local |
Em resumo, fazer escolhas de design de rede seguras e confiáveis é fundamental para garantir um mecanismo robusto de importação para fontes de dados remotas. Isso inclui executar as etapas necessárias para:
- Instalar gateways para fontes de dados local remotas e fontes de dados hospedadas pelo Azure protegidas por rede virtual.
- Uso dos mecanismos de autenticação fortes.
- Adicione à lista de permissões os endereços IP de saída para permitir a comunicação de locais de dados local.
- Minimize os dados transferidos pela rede.
- Realize auditorias de segurança regulares.
Tratamento de erros
O tratamento de erros durante as importações de dados desempenha um papel vital para garantir que seus dados sejam importados corretamente e que os painéis mostrem as informações mais recentes para relatórios de Sustentabilidade e análise. O Sustainability Manager permite que os usuários revisem e corrijam erros nas importações de dados. Esses relatórios de erro agora estão disponíveis para todos os três tipos de importação, modelos, fluxo guiado e experiência do parceiro do Power Query.
Para obter mais informações, vá para Tratamento de erros para importação de dados no Microsoft Sustainability Manager