Partilhar via

Emitir métricas para consumo de tokens OpenAI do Azure

  • Artigo

APLICA-SE A: Todas as camadas de gerenciamento de API

A azure-openai-emit-token-metric política envia métricas personalizadas para o Application Insights sobre o consumo de tokens de modelo de linguagem grande por meio de APIs de Serviço OpenAI do Azure. As métricas de contagem de tokens incluem: Total de Tokens, Prompt Tokens e Completion Tokens.

Nota

Defina os elementos da política e os elementos filho na ordem fornecida na declaração de política. Saiba mais sobre como definir ou editar políticas de Gerenciamento de API.

Modelos de Serviço OpenAI do Azure suportados

A política é usada com APIs adicionadas ao Gerenciamento de API do Serviço OpenAI do Azure dos seguintes tipos:

Tipo de API Modelos suportados
Conclusão do chat GPT-3,5

GPT-4
Conclusão GPT-3.5-Turbo-Instrução
Incorporações incorporação de texto-3-grande

incorporação de texto-3-pequeno

incorporação de texto-ada-002

Para obter mais informações, consulte Modelos do Azure OpenAI Service.

Limites para métricas personalizadas

O Azure Monitor impõe limites de uso para métricas personalizadas que podem afetar sua capacidade de emitir métricas do Gerenciamento de API. Por exemplo, o Azure Monitor atualmente define um limite de 10 chaves de dimensão por métrica e um limite de 50.000 séries temporais ativas totais por região em uma assinatura (dentro de um período de 12 horas).

Esses limites têm as seguintes implicações para configurar métricas personalizadas em uma política de Gerenciamento de API, como emit-metric ou azure-openai-emit-token-metric:

  • Você pode configurar um máximo de 10 dimensões personalizadas por política.

  • O número de séries temporais ativas geradas pela política dentro de um período de 12 horas é o produto do número de valores exclusivos de cada dimensão configurada durante o período. Por exemplo, se três dimensões personalizadas fossem configuradas na política e cada dimensão tivesse 10 valores possíveis dentro do período, a política contribuiria com 1.000 (10 x 10 x 10) séries temporais ativas.

  • Se você configurar a política em várias instâncias de Gerenciamento de API que estão na mesma região em uma assinatura, todas as instâncias poderão contribuir para o limite de séries temporais ativas regionais.

Saiba mais sobre limitações de design e considerações para métricas personalizadas no Azure Monitor.

Pré-requisitos

Declaração de política

<azure-openai-emit-token-metric
        namespace="metric namespace" >      
        <dimension name="dimension name" value="dimension value" />
        ...additional dimensions...
</azure-openai-emit-token-metric>

Atributos

Atributo Description Obrigatório Default value
espaço de nomes Uma cadeia de caracteres. Namespace da métrica. Expressões de política não são permitidas. Não Gestão de API

Elementos

Elemento Description Obrigatório
dimensão Adicione um ou mais desses elementos para cada dimensão incluída na métrica. Sim

Atributos de dimensão

Atributo Description Obrigatório Default value
nome Uma cadeia de caracteres ou expressão de política. Nome da dimensão. Sim N/A
valor Uma cadeia de caracteres ou expressão de política. Valor da dimensão. Só pode ser omitido se name corresponder a uma das dimensões padrão. Em caso afirmativo, o valor é fornecido conforme o nome da dimensão. No N/A

Nomes de dimensão padrão que podem ser usados sem valor

  • API ID
  • ID da operação
  • ID do Produto
  • ID de Utilizador
  • ID de Subscrição
  • Location
  • ID do Gateway

Utilização

Notas de utilização

  • Essa política pode ser usada várias vezes por definição de política.
  • Você pode configurar no máximo 10 dimensões personalizadas para esta política.
  • Opcionalmente, essa política pode ser configurada ao adicionar uma API do Serviço OpenAI do Azure usando o portal.
  • Quando disponíveis, os valores na seção de uso da resposta da API do Serviço OpenAI do Azure são usados para determinar métricas de token.
  • Determinados pontos de extremidade do Azure OpenAI oferecem suporte ao streaming de respostas. Quando stream definido como true na solicitação de API para habilitar o streaming, as métricas de token são estimadas.

Exemplo

O exemplo a seguir envia métricas de contagem de token do Azure OpenAI para o Application Insights junto com a ID da API como uma dimensão personalizada.

<policies>
  <inbound>
      <azure-openai-emit-token-metric
            namespace="AzureOpenAI">   
            <dimension name="API ID" />
        </azure-openai-emit-token-metric> 
  </inbound>
  <outbound>
  </outbound>
</policies>

Conteúdos relacionados

Para obter mais informações sobre como trabalhar com políticas, consulte: