Dimensionar o chat do OpenAI do Azure para Java usando o RAG com os Aplicativos de Contêiner do Azure

Saiba como adicionar balanceamento de carga ao seu aplicativo para estender o aplicativo de chat além dos limites de cota de modelo e token do Serviço OpenAI do Azure. Esta abordagem usa os Aplicativos de Contêiner do Azure para criar três pontos de extremidade do OpenAI do Azure e um contêiner primário para direcionar o tráfego de entrada para um dos três pontos de extremidade.

Este artigo requer que você implante duas amostras separadas:

• Aplicativo de chat

  • Se você ainda não implantou o aplicativo de chat, aguarde até que o exemplo do balanceador de carga seja implantado.

  • Se você já implantou o aplicativo de chat uma vez, altere a variável de ambiente para oferecer suporte a um ponto de extremidade personalizado para o balanceador de carga e reimplante-o novamente.

  • O aplicativo de chat está disponível nos seguintes idiomas:

    • .NET
    • JavaScript
    • Python

• Aplicativo balanceador de carga

Arquitetura para balanceamento de carga do OpenAI do Azure com Aplicativos de Contêiner do Azure

Como o recurso OpenAI do Azure tem limites específicos de cota de token e modelo, um aplicativo de chat que usa um único recurso do OpenAI do Azure está propenso a ter falhas de conversa devido a esses limites.

Para usar o aplicativo de chat sem atingir esses limites, use uma solução com balanceamento de carga com os Aplicativos de Contêiner. Esta solução expõe perfeitamente um único ponto de extremidade dos Aplicativos de Contêiner para o servidor de aplicativo de chat.

O aplicativo de contêiner fica na frente de um conjunto de recursos do OpenAI do Azure. O Aplicativo de Contêiner resolve dois cenários: normal e limitado. Durante um cenário normal em que a cota de token e modelo estão disponíveis, o recurso do OpenAI do Azure retorna um 200 de volta por meio do aplicativo de contêiner e do servidor de aplicativos.

Quando um recurso está em um cenário limitado, como devido a limites de cota, o aplicativo de contêiner pode tentar novamente um recurso do OpenAI do Azure diferente imediatamente para realizar a solicitação de aplicativo de chat original.

Pré-requisitos

• Uma assinatura do Azure. Crie um gratuitamente

• Acesso permitido ao OpenAI do Azure na assinatura do Azure desejada. No momento, o acesso a esse serviço é permitido somente por aplicativo. Você pode solicitar acesso ao Serviço OpenAI do Azure preenchendo o formulário em https://aka.ms/oai/access.

• Os contêineres de desenvolvimento estão disponíveis para ambos os exemplos, com todas as dependências necessárias para concluir este artigo. Você pode executar os contêineres de desenvolvimento em codespaces do GitHub em um navegador ou localmente usando o Visual Studio Code.

  • Codespaces (recomendado)
  • Visual Studio Code

  • Uma conta do GitHub.

Abrir o aplicativo de exemplo de load balancer de Aplicativos de Contêiner

Implantar o balanceador de carga dos Aplicativos de Contêiner do Azure

1. Entre na CLI do desenvolvedor do Azure para fornecer autenticação às etapas de provisionamento e implantação:

   azd auth login --use-device-code
   

2. Defina uma variável de ambiente para usar a autenticação da CLI do Azure para a etapa de pós-provisionamento:

   azd config set auth.useAzCliAuth "true"
   

3. Implante o aplicativo do balanceador de carga:

   azd up
   

   Selecione uma assinatura e uma região para a implantação. Não precisam ser a mesma assinatura e região que o aplicativo de chat.

4. Aguarde a conclusão da implantação antes de continuar.

Obter o ponto de extremidade de implantação

1. Use o seguinte comando para exibir o endpoint implantado para o aplicativo em contêiner:

   azd env get-values
   

2. Copie o valor CONTAINER_APP_URL. Você o usará na próxima seção.

Reimplantar o aplicativo de chat com o ponto de extremidade do load balancer

Esses exemplos são concluídos no exemplo do aplicativo de chat.

Agora você pode usar o aplicativo de chat com a confiança de que ele foi criado para escalar para muitos usuários sem exceder a cota.

Transmitir logs para ver os resultados do balanceador de carga

1. No portal do Azure, pesquise seu grupo de recursos.

2. Na lista de recursos no grupo, selecione o recurso Aplicativos de Contêiner do Azure.

3. Selecione Monitoramento>Fluxo de log para exibir o log.

4. Use o aplicativo de chat para gerar tráfego no log.

5. Busque os logs que fazem referência aos recursos do Azure OpenAI. Cada um dos três recursos tem sua identidade numérica no comentário de log que começa com Proxying to https://openai3, onde 3 indica o terceiro recurso do OpenAI do Azure.

   

Quando o balanceador de carga recebe o status de que a solicitação excede a cota, ele alterna automaticamente para outro recurso.

Configurar a cota do TPM

Por padrão, cada uma das instâncias do OpenAI do Azure no load balancer é implantada com capacidade de 30.000 tokens por minuto (TPM). Você pode usar o aplicativo de chat tendo a confiança de que ele foi criado para ser dimensionado entre muitos usuários sem ficar sem cota. Altere esse valor quando:

• Se ocorrerem erros de capacidade de implantação: reduza o valor.
• Você precisa de maior capacidade: aumente o valor.

1. Use o seguinte comando para alterar o valor:

   azd env set OPENAI_CAPACITY 50
   

2. Reimplante o balanceador de carga:

   azd up
   

Limpar os recursos

Após terminar de usar o aplicativo de chat e o balanceador de carga, limpe os recursos. Os recursos do Azure criados neste artigo são cobrados para sua assinatura do Azure. Se você não espera precisar desses recursos no futuro, exclua-os para evitar incorrer em mais encargos.

Limpar recursos do aplicativo de chat

Retorne ao artigo sobre o aplicativo de chat para limpar os recursos:

• .NET
• JavaScript
• Python

Limpar recursos do balanceador de carga

Execute o seguinte comando do Azure Developer CLI para excluir os recursos do Azure e remover o código-fonte:

azd down --purge --force

Os interruptores fornecem:

• purge: Os recursos excluídos são eliminados imediatamente para que você possa reutilizar os tokens do Serviço OpenAI do Azure a cada minuto.
• force: a exclusão ocorre silenciosamente, sem exigir o consentimento do usuário.

Limpar os codespaces do GitHub e o Visual Studio Code

Obter ajuda

Se você tiver problemas para implantar o balanceador de carga do Gerenciamento de API do Azure, adicione o seu problema à página da Web Problemas do repositório.

Código de exemplo

Os exemplos a seguir são usados neste artigo:

• Aplicativo de chat Java com RAG
• Balanceador de carga com Aplicativos de Contêiner do Azure

Próxima etapa

• Use o Teste de Carga do Azure para testar a carga do seu aplicativo de chat.