Introdução à análise em escala de nuvem

A análise em escala de nuvem baseia-se nas zonas de aterrissagem do Azure para facilitar a implantação e a governança. O principal objetivo de uma zona de aterrissagem do Azure é garantir que, quando um aplicativo ou carga de trabalho pousar no Azure, a infraestrutura necessária já esteja instalada. Antes de implantar sua zona de aterrissagem de análise em escala de nuvem, você já deve ter trabalhado na estrutura de adoção de nuvem para implantar uma arquitetura de zona de aterrissagem do Azure com zonas de aterrissagem de plataforma.

Para cargas de trabalho soberanas, a Microsoft tem o Sovereign Landing Zone (SLZ), que é uma variante da Zona de Pouso do Azure em escala empresarial destinada a organizações que precisam de controles soberanos avançados. A análise em escala de nuvem pode ser implantada nessa variante da Zona de Pouso do Azure.

A análise em escala de nuvem envolve a implantação em zonas de aterrissagem de aplicativos. Essas zonas normalmente residem no grupo de gerenciamento da zona de destino, com políticas filtradas até os modelos de exemplo fornecidos pela Microsoft.

A Microsoft fornece modelos de exemplo para você começar, que você pode usar para suas implantações de data lakehouse e malha de dados.

Avaliação analítica em escala de nuvem

Muitas vezes, uma empresa busca clareza ou orientação prescritiva antes de começar a esculpir os detalhes técnicos para um caso de uso específico, projeto ou análise de ponta a ponta em escala de nuvem. À medida que uma empresa formula sua estratégia geral de dados, pode ser um desafio garantir que ela considere todos os princípios estratégicos e necessários no escopo do uso atual.

Para acelerar a entrega dessa jornada de insights de ponta a ponta, mantendo esses desafios em mente, a Microsoft desenvolveu um cenário prescritivo para análises em escala de nuvem. Ele está alinhado com os principais temas discutidos em Desenvolver um plano para análises em escala de nuvem.

A análise em escala de nuvem baseia-se no Microsoft Cloud Adoption Framework, enquanto aplica a lente do Microsoft Azure Well-Architected Framework. O Microsoft Cloud Adoption Framework fornece orientação prescritiva e práticas recomendadas sobre modelos operacionais de nuvem, arquitetura de referência e modelos de plataforma. Baseia-se em aprendizagens do mundo real de alguns dos nossos ambientes mais desafiantes, sofisticados e complexos.

A análise em escala de nuvem abre caminho para que os clientes criem e operacionalizem zonas de destino para hospedar e executar cargas de trabalho de análise. Você constrói as zonas de aterrissagem com base na segurança, governança e conformidade. Eles são escaláveis e modulares, ao mesmo tempo em que suportam autonomia e inovação.

História da arquitetura de dados

No final da década de 1980, foi introduzida a geração 1 do data warehouse, que combinava fontes de dados díspares de toda a empresa. No final dos anos 2000 surgiu o Gen2, com a introdução de ecossistemas de big data como Hadoop e data lake. Em meados da década de 2010, trouxe a plataforma de dados em nuvem. Foi semelhante às gerações anteriores, mas com a introdução da ingestão de dados de streaming, como arquiteturas kappa ou lambda. O início de 2020 introduziu os conceitos de data lakehouse, malha de dados, malha de dados e padrões operacionais centrados em dados.

Apesar desses avanços, muitas organizações ainda utilizam a plataforma monolítica centralizada, geração 1. Este sistema funciona bem, até certo ponto. No entanto, gargalos podem ocorrer devido a processos interdependentes, componentes fortemente acoplados e equipes hiperespecializadas. Os trabalhos de extração, transformação e carregamento (ETL) podem se tornar proeminentes e retardar os prazos de entrega.

O armazém de dados e o data lake ainda são valiosos e desempenham um papel importante na sua arquitetura geral. Na documentação a seguir, destacamos alguns dos desafios que podem ocorrer ao usar essas práticas tradicionais para escalar. Esses desafios são especialmente relevantes em uma organização complexa, onde as fontes de dados, requisitos, equipes e resultados mudam.

Migrando para análises em escala de nuvem

Sua arquitetura de dados analíticos e modelo operacional atuais podem incluir estruturas de data warehouse, data lake e data lakehouse, tecido de dados ou malha de dados.

Cada modelo de dados tem seus próprios méritos e desafios. A análise em escala de nuvem ajuda você a trabalhar a partir de sua configuração atual para mudar sua abordagem ao gerenciamento de dados para que ele possa evoluir com sua infraestrutura.

Você pode oferecer suporte a qualquer plataforma de dados e cenário para criar uma estrutura de análise completa em escala de nuvem que sirva como sua base e permita o dimensionamento.

Plataforma de dados moderna e resultados desejados

Uma das primeiras áreas de foco é ativar sua estratégia de dados para enfrentar seus desafios, construindo iterativamente uma plataforma de dados moderna escalável e ágil.

Em vez de ficar sobrecarregado com tíquetes de serviço e tentar atender às necessidades de negócios concorrentes, uma plataforma de dados moderna permite que você desempenhe um papel mais consultivo, liberando seu tempo para se concentrar em trabalhos mais valiosos. Você fornece linhas de negócios com a plataforma e os sistemas para autosatender as necessidades de dados e análises.

As áreas de foco inicial recomendadas são:

• Melhore a qualidade dos dados, facilite a confiança e obtenha insights para tomar decisões de negócios orientadas por dados.
• Implemente perfeitamente dados, gerenciamento e análises holísticos em escala, em toda a sua organização.
• Estabeleça uma governança de dados robusta que permita autosserviço e flexibilidade para linhas de negócios.
• Mantenha a segurança e a conformidade legal em um ambiente totalmente integrado.
• Crie rapidamente a base para recursos avançados de análise, com uma solução pronta para uso de padrões modulares bem arquitetados, repetíveis.

Administre seu patrimônio de análise

Uma segunda consideração é determinar como a organização implementa a governança de dados.

A governança de dados é como você garante que os dados que você usa em suas operações de negócios, relatórios e análises sejam detetáveis, precisos, confiáveis e possam ser protegidos.

Para muitas empresas, a expectativa é que os dados e a IA gerem uma vantagem competitiva. Como resultado, os executivos estão ansiosos para patrocinar iniciativas de IA em sua determinação de se tornarem orientados por dados. No entanto, para que a IA se torne eficaz, os dados que ela está usando devem ser confiáveis. Caso contrário, a precisão das decisões pode ser comprometida, as decisões podem ser atrasadas ou as ações podem ser perdidas, o que pode afetar o resultado final. As empresas não querem que a qualidade dos seus dados seja lixo dentro, lixo fora. No início, pode parecer simples corrigir a qualidade dos dados até que você olhe para o efeito que a transformação digital teve nos dados.

Com os dados espalhados por uma multinuvem híbrida e um cenário de dados distribuídos, as organizações lutam para encontrar onde seus dados estão e para governá-los. Os dados não governados podem ter um efeito considerável no negócio. A má qualidade dos dados afeta as operações de negócios porque os erros de dados causam erros e atrasos no processo. A má qualidade dos dados também afeta a tomada de decisões de negócios e a capacidade de permanecer em conformidade. Garantir a qualidade dos dados na fonte é muitas vezes preferível porque a correção de problemas de qualidade no sistema analítico pode ser mais complexa e dispendiosa do que a aplicação de regras de qualidade de dados no início da fase de ingestão. Para ajudar a controlar e controlar a atividade de dados, a governança de dados deve incluir:

• Deteção de dados
• Qualidade de dados
• Criação de políticas
• Partilha de dados
• Metadados

Proteja seu patrimônio de análise

Outro fator importante para a governança de dados é a proteção de dados. A proteção de dados pode ajudá-lo a estar em conformidade com a legislação regulamentar e pode evitar violações de dados. A privacidade dos dados e o número crescente de violações de dados fizeram da proteção de dados uma prioridade máxima na sala de reuniões. Essas violações destacam o risco para dados sensíveis, como dados de clientes pessoalmente identificáveis. As consequências de uma violação da privacidade de dados ou de uma violação de segurança de dados são muitas e podem incluir:

• Perda ou danos graves à imagem da marca
• Perda de confiança dos clientes e de quota de mercado
• Queda no preço das ações, o que afeta o retorno do investimento das partes interessadas e o salário dos executivos
• Sanções financeiras importantes devido a falhas de auditoria ou de conformidade
• Ação judicial
• O efeito dominó da violação, por exemplo, os clientes podem ser vítimas de roubo de identidade

Na maioria dos casos, as empresas cotadas em bolsa têm de declarar essas infrações. Se ocorrerem violações, é mais provável que os clientes culpem primeiro a empresa do que o hacker. O cliente pode boicotar a empresa por vários meses ou pode nunca mais voltar.

O não cumprimento da legislação regulamentar em matéria de privacidade de dados pode resultar em sanções financeiras significativas. A gestão dos seus dados ajuda-o a evitar tais riscos.

Modelo operacional e benefícios

Adotar uma plataforma moderna de estratégia de dados não muda apenas a tecnologia que sua organização usa, mas também como ela opera.

A análise em escala de nuvem fornece orientação prescrita para ajudá-lo a considerar como organizar e qualificar suas pessoas e equipes, incluindo:

• Definições de persona, função e responsabilidade
• Estruturas sugeridas para equipes ágeis, verticais e entre domínios
• Recursos de qualificação, incluindo dados do Azure e certificações de IA através do Microsoft Learn

Também é importante envolver seus usuários finais durante todo o processo de modernização e à medida que você continua a evoluir sua plataforma e integrar novos casos de uso.

Arquiteturas

As zonas de aterrissagem do Azure representam o caminho de design estratégico e o estado técnico de destino para seu ambiente. Eles permitem facilidade de implantação e governança para fornecer maior agilidade e conformidade. As zonas de aterrissagem do Azure também garantem que, quando um novo aplicativo ou carga de trabalho chegar ao seu ambiente, a infraestrutura adequada já esteja instalada. O gerenciamento de dados do Azure e as zonas de aterrissagem de dados, integrados com as soluções de governança e análise de software como serviço da Microsoft, são projetados com esses mesmos princípios fundamentais em mente e, quando combinados com outros elementos da análise em escala de nuvem, podem ajudar a permitir:

• Serviço de gestão personalizada
• Escalabilidade
• Início rápido
• Segurança
• Privacidade
• Operações otimizadas

Zona de aterrissagem de gerenciamento de dados

A zona de aterrissagem de gerenciamento de dados fornece a base para a governança e o gerenciamento centralizados de dados da sua plataforma em toda a organização. Também facilita a comunicação para ingerir dados de todo o seu patrimônio digital, incluindo infraestrutura multicloud e híbrida.

A zona de aterrissagem de gerenciamento de dados suporta vários outros recursos de gerenciamento e governança de dados, como:

• Catálogo de dados
• Gestão da qualidade dos dados
• Classificação de dados
• Linhagem de dados
• Repositório de modelagem de dados
• Catálogo API
• Partilha de dados e contratos

Zonas de aterragem de dados

As zonas de aterrissagem de dados aproximam os dados dos usuários e permitem o autosserviço, mantendo o gerenciamento e a governança comuns por meio da conexão com a zona de aterrissagem de gerenciamento de dados.

Eles hospedam serviços padrão, como rede, monitoramento, ingestão e processamento de dados, bem como personalizações, como produtos de dados e visualizações.

As zonas de aterrissagem de dados são fundamentais para permitir a escalabilidade da sua plataforma. Dependendo do tamanho e das necessidades da sua organização, você pode começar com uma ou várias zonas de pouso.

Ao decidir entre zonas de aterrissagem únicas e múltiplas, considere as dependências regionais e os requisitos de residência de dados. Por exemplo, existem leis ou regulamentos locais que exigem que os dados permaneçam em um local específico?

Independentemente da sua decisão inicial, você pode adicionar ou remover zonas de aterrissagem de dados conforme necessário. Se você estiver começando com uma única zona de pouso, recomendamos que planeje estender para várias zonas de desembarque para evitar necessidades futuras de migração.

Para obter mais informações sobre zonas de aterrissagem, consulte Zonas de aterrissagem do Azure para análise em escala de nuvem.

Conclusão

Depois de ler este conjunto de documentação, em particular as seções de governança, segurança, operação e práticas recomendadas, recomendamos que você configure um ambiente de prova de conceito usando os modelos de implantação. Esses modelos, juntamente com a orientação de arquitetura, oferecem experiência prática com algumas das tecnologias de software como serviço do Azure e da Microsoft. Para obter mais informações, consulte a Lista de verificação de introdução.

Próximos passos