Recomendações para teste de desempenho

Aplica-se a esta recomendação da lista de verificação de eficiência de desempenho bem arquitetada: Power Platform

Este guia descreve as recomendações de teste. O teste de desempenho ajuda a avaliar a funcionalidade de uma carga de trabalho em vários cenários. Ele envolve testar o tempo de resposta, a produtividade, a utilização de recursos e a estabilidade da carga de trabalho para ajudar a garantir que a carga de trabalho atenda aos requisitos de desempenho.

O teste ajuda a evitar problemas de desempenho. Ele também ajuda a garantir que sua carga de trabalho atenda aos contratos de nível de serviço. Sem testes de desempenho, uma carga de trabalho pode sofrer degradações de desempenho que geralmente são evitáveis. O desempenho da carga de trabalho pode derivar das metas de desempenho e das linhas de base estabelecidas.

Definições

Estratégias-chave de design

O teste de desempenho ajuda a coletar dados mensuráveis em uma carga de trabalho. A execução antecipada de testes ajuda a criar cargas de trabalho com as especificações certas. Portanto, realize testes de desempenho o mais cedo possível no ciclo de vida de desenvolvimento. O teste antecipado permite detectar e corrigir problemas de desempenho antes de entrar em produção. Você poderá usar uma prova de conceito (POC), se o código de produção não estiver pronto.

Se a migração de dados de um sistema anterior e a migração precisar ser concluída em uma janela de tempo específica, o teste de desempenho deverá incluir a medição do desempenho da migração de dados.

Prepare o teste

A preparação de testes de desempenho refere-se à configuração e organização dos recursos, configurações e cenários de teste de que você precisa para realizar testes de desempenho com eficiência. Um bom teste de desempenho deve simular como os usuários usarão sua solução na vida real. Ele também deve ajudá-lo a validar se sua solução atende às suas metas de desempenho.

Definir critérios de aceitação

Os critérios de aceitação especificam os requisitos de desempenho que uma carga de trabalho precisa atender para ser considerada aceitável ou bem-sucedida. Defina critérios que se alinham com as metas de desempenho.

Revisar metas de desempenho. As metas de desempenho definem o nível de desempenho desejado para a carga de trabalho. Revise as metas de desempenho estabelecidas para a carga de trabalho. As metas de desempenho são métricas que podem envolver tempo de resposta, taxa de transferência, utilização de recursos ou quaisquer outros indicadores de desempenho relevantes. Por exemplo, você pode ter uma meta para seu tempo de resposta abaixo de um determinado limite, como menos de 2 segundos.

Definir critérios de aceitação. Converta as metas de desempenho em critérios de aceitação específicos que você pode usar para avaliar o desempenho de sua carga de trabalho. Por exemplo, suponha que sua meta de desempenho para tempo de resposta seja de 2 segundos ou menos. Seu critério de aceitação pode ser O tempo médio de resposta da carga de trabalho deve ser inferior a 2 segundos. Use esses critérios de aceitação para determinar se a carga de trabalho atende ao nível de desempenho desejado.

Ao definir critérios de aceitação, é importante focar nos usuários e em suas expectativas. Os critérios de aceitação ajudam a garantir que o trabalho entregue atenda às necessidades e requisitos do usuário. Lembre-se das seguintes considerações para incorporar a perspectiva do usuário nos critérios de aceitação:

• Personas de usuário: entenda o número e os tipos de usuários que usarão sua solução ao mesmo tempo. Defina personas de usuário que representem diferentes funções, locais, configurações de segurança, conjuntos de dados e atividades.

• Requisitos do usuário: compreenda as necessidades e metas do usuário para a carga de trabalho. Considere como a carga de trabalho deve ser executada para atender a esses requisitos. Defina cenários da vida útil que reflitam as ações que os usuários realizam em um dia típico. Inclua cenários de pico de carga e de carga normal.

• Experiência do usuário: defina critérios de aceitação que capturem a experiência do usuário desejada. Inclua fatores como tempo resposta, usabilidade, acessibilidade e satisfação geral.

• Requisitos funcionais: aborda a funcionalidade específica que o usuário espera ver na carga de trabalho. Defina critérios de aceitação em torno desses requisitos funcionais para ajudar a garantir que eles sejam atendidos. Use volumes de dados realistas para cada cenário. Não use mais ou menos dados do que os usuários precisam.

• Requisitos de infraestrutura: defina requisitos de infraestrutura realistas para cada cenário. Por exemplo, se os usuários acessarem a solução a partir de dispositivos móveis com conectividade fraca, teste a solução nessas condições.

• Casos de uso: considere diferentes cenários ou casos de uso que o usuário possa encontrar. Defina critérios de aceitação com base nesses casos de uso para validar o desempenho da carga de trabalho em situações do mundo real.

Defina limites de aceitação. Determine os limites dentro dos critérios de aceitação que indicam se a carga de trabalho atende às metas de desempenho. Esses limites definem o intervalo aceitável de desempenho para cada métrica. Por exemplo, suponha que o critério de aceitação para tempo de resposta seja inferior a 2 segundos. Você pode definir o limite em 2,5 segundos. Esse nível indica que qualquer tempo de resposta acima de 2,5 segundos é considerado um problema de desempenho.

Definir critérios de aprovação. Estabeleça os critérios para determinar se a carga de trabalho foi aprovada ou reprovada no teste de desempenho. Você pode definir aprovação como atender a todos os critérios de aceitação ou alcançar uma determinada porcentagem deles.

Selecione o tipo de teste

Para Select o tipo certo de teste de desempenho, é importante alinhar o teste com seus critérios de aceitação. Os critérios de aceitação definem as condições que precisam ser atendidas para que um requisito ou correção de bug seja considerado concluído. Os testes de desempenho devem ter como objetivo verificar se uma carga de trabalho atende a esses critérios de aceitação e se funciona conforme o esperado em condições especificadas. Alinhar o tipo de teste de desempenho com os critérios de aceitação ajuda a garantir que o teste se concentre em atender às expectativas de desempenho que os critérios definem.

• Entenda os critérios de aceitação. Revise os critérios de aceitação para o requisito ou correção de bug. Os critérios descrevem as condições e funcionalidades específicas a serem atendidas.

• Identifique métricas de desempenho relevantes. Com base nos critérios de aceitação, determine as métricas de desempenho críticas para alcançar os resultados desejados. Por exemplo, se os critérios de aceitação se concentram em tempo de resposta, a priorização do teste de carga pode ser apropriada.

• Select um tipo de teste apropriado. Avalie os tipos de teste disponíveis e escolha aquele que melhor se alinha com as métricas de desempenho e os critérios de aceitação identificados.

A tabela a seguir fornece um exemplo de tipos de teste e seus casos de uso.

Priorize os tipos de teste selecionados com base nas características e requisitos da carga de trabalho. Considere fatores como a criticidade das métricas de desempenho, as expectativas do usuário, as prioridades de negócios e os problemas ou vulnerabilidades conhecidos.

Selecionar ferramentas de teste

Escolha as ferramentas apropriadas com base no tipo de teste de desempenho que você deseja executar. Avalie a infraestrutura, os recursos e as restrições do ambiente de teste. Escolha ferramentas de teste que suportem os tipos de teste desejados e forneçam os recursos necessários para monitoramento, medição, análise e geração de relatórios.

Uma ferramenta de monitoramento de desempenho de aplicativos (APM) fornece insights profundos sobre os aplicativos e é uma ferramenta de teste essencial. Ela ajuda a rastrear transações individuais e mapear seus caminhos por meio de vários serviços de carga de trabalho. Após o teste, você deve usar a ferramenta APM para analisar e comparar os dados de teste com sua linha de base de desempenho.

Use ferramentas de criação de perfil para identificar gargalos de desempenho em seu código. A criação de perfil ajuda a identificar áreas do código que consomem mais recursos e precisam de otimização. Ela fornece insights sobre o tempo de execução e o uso de memória de diferentes partes do código.

As etapas a seguir podem ajudá-lo a selecionar as ferramentas de teste apropriadas:

• Identificar requisitos de teste. Comece entendendo os requisitos específicos do seu teste de desempenho. Considere vários fatores:

  • O tipo de carga de trabalho
  • Métricas de desempenho a serem medidas, como tempo de resposta e taxa de transferência
  • A complexidade da arquitetura da carga de trabalho
  • O ambiente de teste, como por exemplo, baseado em nuvem, local ou híbrido

• Ferramentas de teste de pesquisa. Realize pesquisas para identificar ferramentas de teste de desempenho que se alinham, de acordo com seus requisitos. Considere as ferramentas comerciais e de código aberto disponíveis no mercado. Procure ferramentas que ofereçam suporte aos tipos desejados de testes de desempenho, como testes de carga ou testes de estresse, e que forneçam recursos para medir métricas de desempenho.

• Avalie os recursos da ferramenta. Avalie os recursos que cada ferramenta de teste fornece. Procure recursos como simulação do comportamento realista do usuário e escalabilidade para lidar com grandes cargas de usuários. Considere o suporte para vários protocolos e tecnologias, a integração com outras ferramentas ou estruturas de teste e recursos de relatório e análise.

• Considere compatibilidade e integração. Determine a compatibilidade das ferramentas de teste com sua infraestrutura e tecnologias existentes. Certifique-se de que as ferramentas possam ser facilmente integradas ao seu ambiente de teste e possam se comunicar com a carga de trabalho necessária para monitoramento e análise.

• Avalie o custo e o licenciamento. Avalie a estrutura de custos e os termos de licenciamento associados às ferramentas de teste. Considere fatores como investimento inicial, custos de manutenção e custos de suporte. Considere também outros requisitos de licenciamento que dependem do número de usuários ou usuários virtuais.

• Realizar uma POC. Selecione algumas ferramentas que parecem ser as mais adequadas com base na sua avaliação. Conduza uma POC em pequena escala para validar a usabilidade, os recursos e a eficácia das ferramentas em seu cenário de teste específico.

• Considere suporte e treinamento. Avalie o nível de suporte e treinamento fornecido pelo fornecedor ou pela comunidade da ferramenta. Determine a disponibilidade de documentação, tutoriais e canais de suporte técnico para ajudar com quaisquer desafios ou problemas que possam surgir durante o processo de teste.

Crie cenários de teste

A criação de cenários de teste refere-se ao processo de projetar situações ou condições específicas que são adequadas para testar o desempenho de uma carga de trabalho. Cenários de teste são criados para emular o comportamento realista do usuário e padrões de carga de trabalho. Esses cenários fornecem uma maneira para os testadores de desempenho avaliarem o desempenho da carga de trabalho sob várias condições.

Os cenários de teste possibilitam a replicação de vários padrões de carga de trabalho, como acesso simultâneo de usuários, períodos de pico de carga ou sequências de transações específicas. Ao testar a carga de trabalho sob diferentes padrões de carga de trabalho, você pode identificar gargalos de desempenho e otimizar a alocação de recursos.

• Defina o comportamento do usuário. Emule o comportamento realista do usuário e os padrões de carga de trabalho identificando as etapas e ações que os usuários executam quando interagem com a carga de trabalho. Considere atividades como entrar, realizar pesquisas, enviar formulários ou acessar recursos específicos. Divida cada cenário em etapas e ações específicas que representam a interação do usuário com a carga de trabalho. Você pode incluir navegar pelas páginas, executar transações ou interagir com vários elementos da carga de trabalho.

• Determinar o envolvimento de dados. Identifique os dados de teste necessários para executar os cenários de teste. Você pode incluir a criação ou a geração de conjuntos de dados realistas que representam vários cenários, perfis de usuário ou volumes de dados. Certifique-se de que os dados de teste sejam diversos e abranjam diferentes casos de uso para fornecer uma avaliação de desempenho abrangente.

• Crie scripts de teste. Crie scripts de teste que automatizem a execução dos cenários de teste definidos. Os scripts de teste normalmente consistem em uma sequência de ações, solicitações HTTP ou interações com APIs de carga de trabalho ou interfaces de usuário. Use ferramentas de teste de desempenho ou linguagens de programação para escrever os scripts, considerando fatores como parametrização, correlação e manipulação dinâmica de dados. Valide os scripts de teste quanto à exatidão e funcionalidade. Depure quaisquer problemas, como erros de script, ações ausentes ou incorretas ou problemas relacionados a dados. A validação do script de teste é crucial para ajudar a garantir a execução precisa e confiável do teste de desempenho.

• Configurar variáveis e parâmetros de teste. Configure variáveis e parâmetros em scripts de teste para introduzir variabilidade e simular cenários do mundo real. Inclua parâmetros como credenciais do usuário, dados de entrada ou randomização para imitar diferentes comportamentos do usuário e respostas de carga de trabalho.

• Refine scriptsiterativamente. Refine e aprimore continuamente os scripts de teste com base em comentários, resultados de testes ou alteração de requisitos. Considere otimizar a lógica de script, a parametrização e o tratamento de erros ou adicionar validação e pontos de verificação extras.

Configurar o ambiente de teste

A configuração de um ambiente de teste refere-se ao processo de configuração da infraestrutura, do software e das configurações de rede necessárias para criar um ambiente que se assemelhe ao ambiente de produção.

Para configurar seu ambiente de teste de forma que aumente a eficiência de desempenho, inclua as seguintes etapas em seu processo de configuração:

• Espelhe seu ambiente de produção. Configure seu ambiente de teste para que ele se pareça com o ambiente de produção. Considere fatores como configurações de ambiente e região, configurações de rede, configurações de segurança, fontes de dados e integrações. A meta é garantir que os resultados do teste de desempenho sejam representantes das condições do mundo real.

• provisão recursos suficientes. Aloque recursos adequados, como capacidade de armazenamento, para o ambiente de teste. Certifique-se de que os recursos disponíveis possam lidar com a carga de trabalho esperada e fornecer medições de desempenho precisas.

• Replicar condições de rede. Defina as configurações de rede no ambiente de teste para replicar as condições de rede esperadas durante a implantação da carga de trabalho real. Você precisa incluir largura de banda, latência e protocolos de rede.

• Instalar e configurar dependências. Instale todos os aplicativos e outras dependências do AppSource necessárias para que a carga de trabalho seja executada corretamente. Isso inclui a configuração de serviços de terceiros com as configurações de produção esperadas.

Tradeoff: There são custos associados à manutenção de ambientes de teste separados, armazenamento de dados, uso de ferramentas e execução de testes. Conheça o custo dos testes de desempenho e encontre uma maneira de otimizar os gastos.

Risco: Os dados de produção podem conter informações confidenciais. Sem uma estratégia robusta de limpeza e mascaramento, você corre o risco de vazar dados confidenciais ao usar dados de produção para testes.

Executar os testes

Execute os testes de desempenho usando a ferramenta de teste escolhida. Os testes envolvem medir e registrar métricas de desempenho, monitorar a integridade e capturar quaisquer problemas de desempenho que surjam.

Monitore e colete métricas de desempenho, como tempo resposta, taxa de transferência e outros indicadores relevantes.

Use os cenários de teste definidos para colocar a carga de trabalho abaixo das cargas esperadas. Realize testes sob estas diferentes condições de carga. Por exemplo, use níveis, como níveis normais, de pico e de estresse, para analisar o comportamento da carga de trabalho em vários cenários.

Ao planejar e executar testes de desempenho, é importante lembrar que, em muitos casos, a Microsoft Nuvem usa infraestrutura compartilhada para hospedar seus ativos e os ativos pertencentes a outros clientes. Limite os testes para evitar consequências não intencionais.

Documentar os resultados

Documente os resultados do teste de desempenho de forma clara e consistente. Sua documentação deve mostrar:

• Se sua solução atende às metas de desempenho para cada cenário
• Quando e como você executou cada teste
• Qual versão da solução você testou
• Quaisquer erros ou problemas que ocorreram durante o teste
• Quaisquer alterações ou otimizações feitas após o teste

Analisar os resultados

A análise dos resultados do teste envolve o exame dos dados e métricas coletados dos testes de desempenho para obter insights sobre o desempenho da carga de trabalho. A meta é identificar problemas de desempenho e usar os comentários para ajustar prioridades no desenvolvimento de aplicativos.

As ações a seguir são etapas importantes para analisar os resultados de testes.

Examinar métricas de desempenho. Examine as métricas de desempenho que você coleta durante o teste de desempenho, como tempos de resposta, taxa de transferência, taxas de erro e latência de rede. Analise essas métricas para entender o desempenho geral da carga de trabalho.

• Identificar gargalos. Avalie as métricas de desempenho para identificar gargalos ou áreas de desempenho ineficiente. A avaliação pode incluir tempos de resposta altos, restrições de recursos, problemas de banco de dados, latência de rede e limitações de escalabilidade. Identificar as causas raiz desses gargalos ajuda a priorizar melhorias de desempenho.

• Correlacionar métricas. Avalie os relacionamentos e correlações entre várias métricas de desempenho. Por exemplo, analise como o aumento da carga ou da utilização de recursos afeta os tempos de resposta. A compreensão dessas correlações pode fornecer insights valiosos sobre o comportamento da carga de trabalho sob diferentes condições. Procure padrões e tendências nos dados de desempenho ao longo do tempo. Analise o desempenho sob diferentes níveis de carga ou durante períodos específicos. A detecção de tendências pode ajudar a identificar variações sazonais, horários de pico de uso ou problemas recorrentes de desempenho.

Avaliar critérios de aceitação. Compare os resultados do reteste com os critérios de aceitação predefinidos e metas de desempenho. Avaliar se a carga de trabalho atende aos padrões de desempenho desejados. Se a carga de trabalho não atender aos critérios de aceitação, investigue e refine as otimizações.

Repita e refine a análise. Faça outros ajustes e melhorias, conforme necessário. Use os dados e métricas coletados para diagnosticar problemas específicos de desempenho. O diagnóstico pode envolver o rastreamento dos componentes da carga de trabalho, o exame dos arquivos de log, o monitoramento do uso de recursos ou a análise de mensagens de erro. Aprofunde-se nos dados para entender as causas subjacentes dos problemas de desempenho.

Com base na análise dos resultados do teste, priorize os problemas de desempenho identificados e implemente as melhorias necessárias. As melhorias podem envolver a otimização da lógica, o ajuste de consultas, a melhoria dos mecanismos de cache e a otimização das configurações de rede.

Estabelecer linhas de base

As linhas de base fornecem um ponto de referência para comparar os resultados de desempenho ao longo do tempo. As linhas de base devem ser instantâneos significativos do desempenho da carga de trabalho, você não precisa usar todos os testes como linha de base.

Considere os objetivos da carga de trabalho e documente instantâneos de desempenho que permitem aprender ao longo do tempo e otimizar. Use essas medições de linha de base como referência para futuros testes de desempenho e use-as para identificar qualquer degradação ou melhoria.

Para estabelecer linhas de base para testes de desempenho e usá-las como referência para testes de desempenho futuros, siga estas etapas:

• Identificar métricas de desempenho. Determine as métricas de desempenho específicas que você deseja medir e acompanhar. Os exemplos incluem:

  • Tempo de resposta ou a rapidez com que a carga de trabalho responde às solicitações.
  • Taxa de transferência ou o número de solicitações processadas por unidade de tempo.
  • Utilização de recursos, como uso da capacidade de armazenamento.

• Registre medições significativas. Registre as métricas de desempenho obtidas durante o teste como as medidas de linha de base. Essas medidas representam o ponto de partida com o qual você compara testes de desempenho futuros.

• Compare testes futuros. Nos testes de desempenho subsequentes, compare as métricas de desempenho com as linhas de base e os limites estabelecidos. A comparação permite identificar quaisquer melhorias ou degradação no desempenho.

Testar continuamente

Os testes contínuos envolvem o monitoramento e o refinamento contínuos de seus testes. O teste contínuo ajuda você a manter níveis consistentes e aceitáveis de desempenho. Uma carga de trabalho deve fornecer um nível consistente e aceitável de desempenho em relação à linha de base. Você deve ajustar a carga de trabalho ao longo do tempo para produzir desempenho consistente e dentro dos limites aceitáveis de desempenho.

Veja algumas práticas principais:

• Defina limites de degradação. Defina limites numéricos que especifiquem o nível de degradação de desempenho aceitável ao longo do tempo. Ao definir esses limites, você pode monitorar flutuações de desempenho e receber alertas quando o desempenho ficar abaixo do limite definido.

• Incluir garantia de qualidade. Incorpore requisitos de desempenho, como solicitações máximas por segundo, ao processo de garantia de qualidade. Trate os requisitos de desempenho com o mesmo nível de importância que os requisitos funcionais. Esse processo ajuda a garantir que a carga de trabalho atenda aos requisitos de desempenho definidos antes de implantá-la na produção.

• Automatize o alerta. Em ambientes ao vivo, a detecção e a resposta rápidas são cruciais. Configurar sistemas de alerta automatizados que usam a linha de base de desempenho como referência. Se There houver um desvio significativo no desempenho, as equipes necessárias são alertadas imediatamente para agir.

• Teste as alterações. Alguns problemas de desempenho podem se manifestar apenas em uma configuração ao vivo. Aplicar práticas de teste completas para as alterações propostas. Use a instrumentação de código para obter insights sobre as características de desempenho do aplicativo, como caminhos frequentes. Esse teste garante que qualquer alteração introduzida não degrade o desempenho além dos limites aceitáveis.

Facilitação do Power Platform

Execute os testes: O Azure Pipelines possibilita a integração de testes de desempenho em seu pipeline de CI/CD (integração contínua/entrega contínua). Você pode incorporar o teste de carga como um etapa em seu pipeline para validar o desempenho e a escalabilidade de seus aplicativos.

Power Apps O Test Engine é um componente dentro da Power Platform CLI que você pode usar para testar aplicativos canvas independentes em Power Apps.

O Azure Test Plans é uma solução de geranciamento de testes baseada em navegador e fácil de usar que fornece todos os recursos necessários para testes manuais planejados, testes de aceitação do usuário, testes exploratórios e coleta de feedback das partes interessadas.

Se sua carga de trabalho incluir recursos do Azure, você poderá usar o Azure Chaos Studio e o Azure Load Testing para realizar testes.

Durante o desenvolvimento, os desenvolvedores também podem usar o Power Apps Monitor para diagnosticar e solucionar problemas mais rapidamente e criar aplicativos mais confiáveis. Ele apresenta uma visão profunda do seu aplicativo, pois registra todas as atividades principais ocorridas nele durante sua execução. O Power Apps Monitor também permite entender melhor como funcionam os eventos e as fórmulas contidos no seu aplicativo para que você possa aprimorar o desempenho e identificar quaisquer erros ou problemas.

Se sua carga de trabalho incluir um Microsoft Copilot Studio copiloto, você pode usar o Power CAT Copilot Studio Kit para configurar copilotos e testes. Ao executar testes individuais nas APIs ( Copilot Studio ), as respostas do copiloto são avaliadas em relação aos resultados esperados.Direct Line

Analisar os resultados: O Azure Monitor é uma solução de monitoramento abrangente para coletar, analisar e responder à telemetria de seus ambientes de nuvem e local. Application Insights é uma extensão do Azure Monitor que fornece recursos de APM. Você pode usar o Application Insights para monitorar durante o desenvolvimento e teste e também na produção.

Compensação: Os testes levam tempo e habilidade para serem realizados e podem afetar a eficiência operacional.

Informações relacionadas

• Recomendações para testes de segurança
• Recomendações para projetar uma estratégia de teste de confiabilidade

Lista de verificação Eficiência de Desempenho

Consulte o conjunto completo de recomendações.