Normas relativas aos metadados
O Gerenciamento de Metadados desempenha um papel crucial na arquitetura de dados. Metadados são dados sobre outros dados. Ele descreve os dados, fornecendo uma referência que ajuda você a localizar, proteger e controlar dados. Os metadados também associam os dados. Ele pode ser usado para validar a integridade e a qualidade dos dados, rotear ou replicar dados para um novo local, transformar dados e entender os significados dos dados. Os metadados também são essenciais na democratização dos dados por meio de portais de autoatendimento.
Há uma tendência crescente no setor de aproximar os insights de dados de analistas de dados e cientistas usando portais que usam mais metadados. Esta tendência é conhecida como observabilidade dos dados. A observabilidade de dados usa conceitos como lago de metadados, gráficos de conhecimento ou gráficos de metadados para descrever plataformas onde os metadados são centralizados. É uma boa maneira de criar uma visão unificada de como os dados são usados e originados em toda a sua organização ao usar uma malha de dados distribuída.
Uma boa estratégia de gerenciamento de metadados cresce organicamente. Começa simples e pequeno, identificando primeiro as áreas mais importantes. Uma boa estratégia de gestão de metadados também é suportada com serviços e processos claros. Para começar, é bom estar ciente das diferentes categorias de metadados:
- Os metadados de negócios descrevem todos os aspetos usados para governança, localizando e entendendo dados. Alguns exemplos bem conhecidos incluem termos e definições comerciais e informações sobre propriedade, uso e originação de dados.
- Os metadados técnicos descrevem os aspetos estruturais dos dados em tempo de projeto. Alguns exemplos bem conhecidos incluem informações de esquema, formato de dados e informações de protocolo, e chaves de criptografia e descriptografia.
- Os metadados operacionais descrevem os aspetos de processamento de dados em tempo de execução. Alguns exemplos bem conhecidos incluem informações de processo, tempo de execução, informações de falha de processo e IDs de trabalho.
- Os metadados sociais descrevem a perspetiva do utilizador dos dados dos seus consumidores. Alguns exemplos bem conhecidos incluem informações de uso e rastreamento de usuários, dados de resultados de pesquisa, filtros e cliques, tempo de visualização, acessos ao perfil e comentários.
Na arquitetura de dados descentralizada, o gerenciamento de metadados é um desafio organizacional que requer encontrar um equilíbrio entre metadados gerenciados centralmente e metadados gerenciados federados. É importante entender as equipes e funções para análise em escala de nuvem no Azure enquanto você planeja o gerenciamento de metadados. O uso de uma prática colaborativa de gerenciamento de dados pode melhorar a comunicação, a integração e a automação do fluxo de dados entre suas equipes. Você pode abordar parte da complexidade do gerenciamento de metadados encontrando o equilíbrio certo entre governança central e propriedade do domínio.
Ao decidir quais metadados gerenciar centralmente ou federar para seus domínios de dados e começar sua implementação, pergunte-se:
- Quais metadados de negócios são críticos?
- Que metadados técnicos são necessários para a interoperabilidade?
- Quais processos e fluxos capturam os dados?
- Onde os modelos ou esquemas são criados e mantidos?
- Quais informações as equipes precisam fornecer centralmente para permitir que o departamento de governança de dados faça seu trabalho corretamente?
Usando suas respostas a essas perguntas, mapeie o ciclo de vida do conteúdo para cada um dos seus fluxos de metadados e determine todas as dependências. Em seguida, você tem um modelo de metadados que pode conectar domínios de negócios, processos, tecnologia e dados.
Depois de saber quais metadados você precisa, você deve escolher um local para armazená-los e processá-los. Você pode usar o Microsoft Purview para isso.
Use o Microsoft Purview para gerenciar seu patrimônio de dados em geral
O Microsoft Purview é uma solução unificada de governança de dados que ajuda você a gerenciar e controlar seus dados locais, multicloud e de software como serviço (SaaS). Ele gerencia metadados em escala porque é um serviço totalmente automatizado que executa de forma inteligente a descoberta de dados, a verificação de dados, a qualidade dos dados e o gerenciamento de acesso. Ele também fornece um mapa holístico com muitos insights sobre sua arquitetura de malha de dados.
O Microsoft Purview é um conjunto abrangente de soluções que pode ajudar sua organização a governar, proteger e gerenciar dados, onde quer que eles estejam. As soluções Microsoft Purview fornecem cobertura integrada e ajudam a lidar com a fragmentação de dados entre organizações, a falta de visibilidade que dificulta a proteção e a governança de dados e a indefinição das funções tradicionais de gerenciamento de TI.
O Microsoft Purview combina soluções e serviços de governança de dados e conformidade em uma plataforma unificada para ajudar sua organização a:
- Obtenha visibilidade dos dados em toda a sua organização
- Proteja e gerencie dados confidenciais em todo o seu ciclo de vida, onde quer que estejam
- Administre os dados perfeitamente de maneiras novas e abrangentes
- Gerencie riscos críticos de dados e requisitos normativos
Ao implementar o Microsoft Purview, evite introduzir muitas alterações e complexidade rapidamente. Os metadados técnicos formam a base do Microsoft Purview. Você precisa coletar e organizar seus metadados antes de dar sentido a eles.
Depois de ter os metadados, comece com as noções básicas:
- Termos de negócio
- Listas de fontes de dados autorizadas
- Listas de bases de dados
- Domínios de governação
- Informações do esquema
- Propriedade dos dados
- Gestão de dados
- Segurança
- Qualidade de dados
Em seguida, dimensione lentamente envolvendo mais proprietários de domínio e administradores de dados e adicionando mais classificações e rótulos de sensibilidade. Essas adições melhoram a experiência de pesquisa e permitem um melhor gerenciamento de acesso aos dados.
O Microsoft Purview oferece um recurso chamado Domínios de governança, que estabelece limites para governança, propriedade e descoberta unificadas de produtos de dados e conceitos de negócios em sua arquitetura orientada a domínio. Para obter mais informações, consulte Governance Domains in Microsoft Purview.
Usar o Azure Cosmos DB para criar um Gráfico de Conhecimento
Uma solução de insight de dados deve descrever como os dados são usados e as relações entre entidades, como dados de origem e produtos de dados, e entre produtos de dados de um domínio e produtos dependentes de outro domínio. Você pode usar um banco de dados gráfico ou uma interface de usuário personalizada para modelar essas relações.
Para criar uma exibição unificada dos dados da sua organização com uma experiência de usuário personalizada, considere usar o Azure Cosmos DB. O Azure Cosmos DB é um serviço de banco de dados multimodelo distribuído globalmente com pontos de extremidade NoSQL. Ele fornece um serviço de banco de dados de gráficos por meio do Azure Cosmos DB para Apache Gremlin, que pode armazenar gráficos maciços com bilhões de vértices e arestas.
O resultado final da arquitetura do Azure Cosmos DB é um gráfico em toda a organização que fornece uma exibição unificada de todos os dados em sua organização com contexto de ponta a ponta. O lago de metadados não é apenas sobre o armazenamento de informações. Ele também organiza ativamente seus metadados como um gráfico, conectando-os a outros serviços e ferramentas. Este gráfico organizado permite-lhe correlacionar várias áreas temáticas, incluindo:
- Domínios
- Qualidade de dados
- Utilização de dados
- Recursos de negócios
- Funções da aplicação
- Informações técnicas sobre arquitetura
- Eventos operacionais
- Metadados organizacionais
- Metadados de propriedade do aplicativo
- Informações de localização
- Informações de gerenciamento do ciclo de vida do aplicativo