Visão Geral dos recursos de gateway da IA generativa no Gerenciamento de API do Azure

APLICA-SE A: todas as camadas do Gerenciamento de API

Este artigo apresenta recursos no Gerenciamento de API do Azure para ajudar você a gerenciar as APIs de IA generativas, como as fornecidas pelo Serviço OpenAI do Azure. O Gerenciamento de API do Azure fornece uma variedade de políticas, métricas e outros recursos para aprimorar a segurança, o desempenho e a confiabilidade das APIs que atendem aos aplicativos inteligentes. Coletivamente, esses recursos são chamados de funcionalidades de gateway da GenAI (IA generativa) para as APIs de IA generativas.

Desafios no gerenciamento de APIs de IA gerativas

Um dos principais recursos que você tem em serviços de IA generativas são os tokens. O Serviço OpenAI do Azure atribui cota para suas implantações de modelo expressas no TPM (tokens por minuto), que é distribuído por seus consumidores de modelos, por exemplo, aplicativos diferentes, equipes de desenvolvedores, departamentos dentro da empresa etc.

O Azure facilita a conexão de um único aplicativo ao Serviço OpenAI do Azure: você poderá se conectar diretamente usando uma chave de API com um limite de TPM configurado diretamente no nível de implantação do modelo. No entanto, ao começar a aumentar seu portfólio de aplicativos, você recebe vários aplicativos chamando pontos de extremidade únicos ou até mesmo vários pontos de extremidade do Serviço OpenAI do Azure implantados como instâncias de PTU (Unidades de Taxa de Transferência Provisionadas) ou com pagamento conforme o uso. Isso vem com certos desafios:

• Como o uso de token é acompanhado em vários aplicativos? Os encargos cruzados podem ser calculados para vários aplicativos/equipes que usam modelos do Serviço OpenAI do Azure?
• Como você garante que um único aplicativo não consuma toda a cota do TPM, deixando outros aplicativos sem opção para usar modelos do Serviço OpenAI do Azure?
• Como a chave de API é distribuída com segurança em vários aplicativos?
• Como a carga é distribuída em vários pontos de extremidade do OpenAI do Azure? É possível garantir que a capacidade confirmada em PTUs esteja esgotada antes de voltar às instâncias com pagamento conforme o uso?

O restante deste artigo descreve como o Gerenciamento de API do Azure pode ajudar você a enfrentar esses desafios.

Importar o recurso do Serviço OpenAI do Azure como uma API

Importe uma API de um ponto de extremidade do Serviço OpenAI do Azure para o Gerenciamento de API do Azure usando uma experiência de clique único. O Gerenciamento de API simplifica o processo de integração importando automaticamente o esquema OpenAPI para a API do OpenAI do Azure e configura a autenticação para o ponto de extremidade do OpenAI do Azure usando a identidade gerenciada, removendo a necessidade de configuração manual. Na mesma experiência amigável, é possível pré-configurar políticas para limites de token e emitir métricas de token.

Política de limite de token

Configure a política de limite de token do OpenAI do Azure para gerenciar e impor limites por consumidor de API com base no uso de tokens do Serviço OpenAI do Azure. Com essa política, você poderá definir limites, expressos em TPM (tokens por minuto).

Essa política fornece flexibilidade para atribuir limites baseados em token em qualquer chave de contador, como chave de assinatura, endereço IP de origem ou uma chave arbitrária definida por meio de uma expressão de política. A política também permite o pré-cálculo de tokens de solicitações no lado do Gerenciamento de API do Azure, minimizando solicitações desnecessárias para o back-end do Serviço OpenAI do Azure se a solicitação já exceder o limite.

O exemplo básico a seguir demonstra como definir um limite de TPM de 500 por chave de assinatura:

<azure-openai-token-limit counter-key="@(context.Subscription.Id)" 
    tokens-per-minute="500" estimate-prompt-tokens="false" remaining-tokens-variable-name="remainingTokens">
</azure-openai-token-limit>

Política de emissão de métricas de token

A política de emissão de métricas de token do OpenAI do Azure envia métricas para o Application Insights sobre o consumo de tokens de LLM por meio de APIs do Serviço OpenAI do Azure. A política ajuda a fornecer uma visão geral da utilização de modelos do Serviço OpenAI do Azure em vários aplicativos ou consumidores de API. Essa política pode ser útil para cenários de estorno, monitoramento e planejamento de capacidade.

Essa política captura métricas de solicitação, conclusões e uso total de token e as envia para um namespace do Application Insights de sua escolha. Além disso, é possível configurar ou selecionar entre dimensões predefinidas para dividir as métricas de uso do token, para que você possa analisar as métricas por ID de assinatura, endereço IP ou uma dimensão personalizada de sua escolha.

Por exemplo, a política a seguir envia métricas para o Application Insights divididos por endereço IP do cliente, API e usuário:

<azure-openai-emit-token-metric namespace="openai">
    <dimension name="Client IP" value="@(context.Request.IpAddress)" />
    <dimension name="API ID" value="@(context.Api.Id)" />
    <dimension name="User ID" value="@(context.Request.Headers.GetValueOrDefault("x-user-id", "N/A"))" />
</azure-openai-emit-token-metric>

Balanceador de carga de back-end e disjuntor

Um dos desafios ao criar aplicativos inteligentes é garantir que os aplicativos sejam resilientes a falhas de back-end e possam lidar com cargas altas. Ao configurar seus pontos de extremidade do Serviço OpenAI do Azure usando back-ends no Gerenciamento de API do Azure, você poderá balancear a carga entre eles. Também é possível definir regras de disjuntor para interromper o encaminhamento de solicitações para os back-ends do Serviço OpenAI do Azure se eles não responderem.

O balanceador de carga de back-end dá suporte a round-robin, balanceamento de carga ponderado e baseado em prioridade, oferecendo flexibilidade para definir uma estratégia de distribuição de carga que atenda aos seus requisitos específicos. Por exemplo, defina prioridades dentro da configuração do balanceador de carga para garantir a utilização ideal de pontos de extremidade específicos do OpenAI do Azure, especialmente aqueles comprados como PTUs.

O disjuntor de back-end apresenta a duração da viagem dinâmica, aplicando valores do cabeçalho Retry-After fornecido pelo back-end. Isso garante a recuperação precisa e oportuna dos back-ends, maximizando a utilização de seus back-ends de prioridade.

Política de cache semântico

Configure as políticas de cache semântico do OpenAI do Azure para otimizar o uso de token armazenando conclusões para solicitações semelhantes.

No Gerenciamento de API, habilite o cache semântico usando o Azure Redis Enterprise ou outro cache externo compatível com o RediSearch e integrado ao Gerenciamento de API do Azure. Ao usar API de Incorporações do Serviço OpenAI do Azure, as políticas de azure-openai-semantic-cache-store e azure-openai-semantic-cache-lookup armazenam e recuperam conclusões de solicitação de forma semântica semelhantes do cache. Essa abordagem garante a reutilização de conclusões, resultando em redução do consumo de token e melhor desempenho de resposta.

Laboratórios e amostras

• Laboratórios para os recursos de gateway da GenAI do Gerenciamento de API do Azure
• APIM (Gerenciamento de API do Azure) – Exemplo do Azure OpenAI (Node.js)
• Código de exemplo do Python para usar o OpenAI do Azure com o Gerenciamento de API

Considerações de design e arquitetura

• Arquitetura de referência de gateway da GenAI usando o Gerenciamento de API
• Acelerador de zona de destino do gateway do hub de IA
• Criar e implementar uma solução de gateway com recursos do OpenAI do Azure
• Usar um gateway na frente de várias implantações ou instâncias do Azure OpenAI

Conteúdo relacionado

• Blog: introdução aos recursos da GenAI no Gerenciamento de API do Azure
• Blog: integrar a Segurança de Conteúdo do Azure ao Gerenciamento de API para pontos de extremidade do OpenAI do Azure
• Treinamento: gerenciar suas APIs de IA generativa com o Gerenciamento de API do Azure
• Balanceamento de carga inteligente para pontos de extremidade OpenAI e Gerenciamento de API do Azure
• Autenticar e autorizar o acesso às APIs do OpenAI do Azure usando o Gerenciamento de API do Azure