Escalone o chat do Azure OpenAI para .NET usando RAG com Azure Container Apps

Saiba como adicionar balanceamento de carga ao seu aplicativo para estender o aplicativo de chat além dos limites de token e cota de modelo do Serviço Azure OpenAI. Essa abordagem usa os Aplicativos de Contêiner do Azure para criar três pontos de extremidade do Azure OpenAI e um contêiner primário para direcionar o tráfego de entrada para um dos três pontos de extremidade.

Este artigo requer que você implante dois exemplos separados:

• Aplicativo de bate-papo

  • Se você ainda não implantou o aplicativo de bate-papo, aguarde até que o exemplo de balanceador de carga seja implantado.

  • Se você já implantou o aplicativo de chat uma vez, altere a variável de ambiente para oferecer suporte a um ponto de extremidade personalizado para o balanceador de carga e reimplante-o novamente.

  • A aplicação de chat está disponível nos seguintes idiomas:

    • .NET
    • JavaScript
    • Python

• Aplicativo de balanceador de carga

Arquitetura para o equilíbrio de carga do Azure OpenAI com Aplicações de Contentores do Azure

Como o recurso do Azure OpenAI tem limites específicos de token e cota de modelo, um aplicativo de chat que usa um único recurso do Azure OpenAI é propenso a ter falhas de conversa devido a esses limites.

Para usar o aplicativo de bate-papo sem atingir esses limites, use uma solução com balanceamento de carga com Aplicativos de contêiner. Esta solução expõe perfeitamente um único endpoint de Container Apps para o seu servidor da aplicação de chat.

O aplicativo de contêiner fica na frente de um conjunto de recursos do Azure OpenAI. O aplicativo de contêiner resolve dois cenários: normal e limitado. Durante um cenário normal em que a cota de token e modelo está disponível, o recurso OpenAI do Azure retorna um 200 de volta por meio do aplicativo de contêiner e do servidor de aplicativos.

Quando um recurso está em um cenário limitado devido aos limites de cota, o aplicativo contêiner pode tentar novamente um recurso diferente do Azure OpenAI imediatamente para atender à solicitação original do aplicativo de chat.

Pré-requisitos

• Subscrição do Azure. Crie um gratuitamente

• Acesso concedido ao Azure OpenAI na assinatura desejada do Azure.

  Atualmente, o acesso a este serviço é concedido apenas por aplicativo. Você deve solicitar acesso ao Azure OpenAI.

• Contentores de desenvolvimento estão disponíveis para ambos os casos, com todas as dependências necessárias para concluir este artigo. Você pode executar os contêineres de desenvolvimento no GitHub Codespaces (em um navegador) ou localmente usando o Visual Studio Code.

Abra a aplicação de exemplo do balanceador de carga das Apps de Contêiner

Implantar o balanceador de carga de Aplicativos de Contêiner do Azure

1. Entre na CLI do Desenvolvedor do Azure para fornecer autenticação às etapas de provisionamento e implantação:

   azd auth login --use-device-code
   

2. Defina uma variável de ambiente para usar a autenticação da CLI do Azure para a etapa de pós-provisão:

   azd config set auth.useAzCliAuth "true"
   

3. Implante o aplicativo balanceador de carga:

   azd up
   

   Selecione uma assinatura e uma região para a implantação. Eles não precisam ter a mesma assinatura e região do aplicativo de bate-papo.

4. Aguarde a conclusão da implantação antes de continuar.

Obter o endpoint de implantação

1. Use o seguinte comando para mostrar o ponto de extremidade implantado para a aplicação de contêiner:

   azd env get-values
   

2. Copie o valor CONTAINER_APP_URL. Você irá usá-lo na próxima secção.

Reimplantar a aplicação de chat com o endpoint do balanceador de carga

Esses exemplos são concluídos no exemplo de aplicativo de bate-papo.

Agora pode usar a aplicação de chat com a confiança de que está concebida para escalar para muitos utilizadores sem esgotar a quota.

Transmitir logs para ver os resultados do balanceador de carga

1. No portal do Azure, pesquise o seu grupo de recursos.

2. Na lista de recursos no grupo, selecione o recurso Aplicativos de Contêiner do Azure.

3. Selecione Monitoramento>fluxo de Log para exibir o log.

4. Use o aplicativo de bate-papo para gerar tráfego no log.

5. Procure os logs, que fazem referência aos recursos do Azure OpenAI. Cada um dos três recursos tem sua identidade numérica no comentário de log que começa com Proxying to https://openai3, onde 3 indica o terceiro recurso do Azure OpenAI.

   

Quando o balanceador de carga recebe o status de que a solicitação excede a cota, ele gira automaticamente para outro recurso.

Configurar a cota do TPM

Por padrão, cada uma das instâncias do Azure OpenAI no balanceador de carga é implantada com uma capacidade de 30.000 tokens por minuto (TPM). Você pode usar a aplicação de chat com a confiança de que foi criada para escalar para muitos utilizadores sem ultrapassar o limite. Altere este valor quando:

• Você obtém erros de capacidade de implantação: diminua o valor.
• Você precisa de maior capacidade: aumente o valor.

1. Use o seguinte comando para alterar o valor:

   azd env set OPENAI_CAPACITY 50
   

2. Reimplante o balanceador de carga:

   azd up
   

Limpar recursos

Quando terminar de usar o aplicativo de bate-papo e o balanceador de carga, limpe os recursos. Os recursos do Azure criados neste artigo são cobrados na sua assinatura do Azure. Se você não espera precisar desses recursos no futuro, exclua-os para evitar incorrer em mais cobranças.

Limpar recursos do aplicativo de bate-papo

Volte ao artigo sobre a aplicação de chat para organizar os recursos:

• .NET
• JavaScript
• Python

Limpar os recursos do balanceador de upload

Execute o seguinte comando da CLI do Desenvolvedor do Azure para excluir os recursos do Azure e remover o código-fonte:

azd down --purge --force

Os interruptores fornecem:

• purge: Os recursos excluídos são imediatamente limpos para que você possa reutilizar os tokens do Serviço OpenAI do Azure por minuto.
• force: A exclusão acontece silenciosamente, sem exigir o consentimento do usuário.

Limpar os Codespaces do GitHub e o Visual Studio Code

Obter ajuda

Se tiver problemas para implantar o balanceador de carga do Azure API Management, adicione o seu problema na página de Problemas em do repositório.

Código de exemplo

Os exemplos usados neste artigo incluem:

• aplicativo de bate-papo .NET com RAG
• Balanceador de Carga com Aplicações de Contentores do Azure

Próximo passo

• Utilize Testes de Carga do Azure para testar a carga da sua aplicação de chat