Aracılığıyla paylaş

Azure OpenAI API isteklerinin önbelleğe alınmış yanıtlarını alma

  • Makale

UYGULANANLAR: Tüm API Management katmanları

İlkeyi azure-openai-semantic-cache-lookup kullanarak, istemden önceki isteklere vektör yakınlığına ve belirtilen benzerlik puanı eşiğine bağlı olarak yapılandırılmış bir dış önbellekten Azure OpenAI Sohbet Tamamlama API'sine ve Tamamlama API'sine yönelik isteklerin önbellek aramasını gerçekleştirin. Yanıt önbelleğe alma, arka uç Azure OpenAI API'sine uygulanan bant genişliğini ve işleme gereksinimlerini azaltır ve API tüketicileri tarafından algılanan gecikme süresini azaltır.

Not

  • Bu ilke, Azure OpenAI API istekleri ilkesine karşılık gelen önbellek yanıtlarına sahip olmalıdır.
  • Semantik önbelleğe almayı etkinleştirme önkoşulları ve adımları için bkz . Azure API Management'ta Azure OpenAI API'leri için anlamsal önbelleğe almayı etkinleştirme.
  • Şu anda bu ilke önizleme aşamasındadır.

Not

İlkenin öğelerini ve alt öğelerini ilke bildiriminde sağlanan sırayla ayarlayın. API Management ilkelerini ayarlama veya düzenleme hakkında daha fazla bilgi edinin.

Desteklenen Azure OpenAI Hizmeti modelleri

İlke, Aşağıdaki türlerdeki Azure OpenAI Hizmeti'nden API Management'a eklenen API'lerle birlikte kullanılır:

API türü Desteklenen modeller
Sohbet tamamlama gpt-3.5

gpt-4
Tamamlama gpt-3.5-turbo-instruct
Eklemeler metin ekleme-3-büyük

metin ekleme-3-küçük

metin ekleme-ada-002

Daha fazla bilgi için Azure OpenAI Service modelleri konusuna bakın.

İlke bildirimi

<azure-openai-semantic-cache-lookup
    score-threshold="similarity score threshold"
    embeddings-backend-id ="backend entity ID for embeddings API"
    ignore-system-messages="true | false"      
    max-message-count="count" >
    <vary-by>"expression to partition caching"</vary-by>
</azure-openai-semantic-cache-lookup>

Özellikler

Öznitelik Açıklama Zorunlu Varsayılan
puan eşiği Bir istem için önbelleğe alınmış bir yanıtın döndürülip döndürülmeyeceğini belirlemek için kullanılan benzerlik puanı eşiği. Değer, 0,0 ile 1,0 arasında bir ondalık değerdir. Daha fazla bilgi edinin. Yes Yok
embeddings-backend-id OpenAI ekleme API çağrısı için arka uç kimliği. Yes Yok
sistem iletilerini yoksay Boole. olarak ayarlanırsa true, önbellek benzerliğini değerlendirmeden önce gpt sohbet tamamlama isteminden sistem iletilerini kaldırır. Hayır yanlış
max-message-count Belirtilirse, önbelleğe alma atlanan kalan iletişim kutusu iletilerinin sayısı. Hayır YOK

Öğeler

Veri Akışı Adı Açıklama Gerekli
vary-by Çalışma zamanında belirlenen ve değerini önbelleğe alan özel bir ifade. Birden çok vary-by öğe eklenirse, benzersiz bir birleşim oluşturmak için değerler birleştirilir. Hayır

Kullanım

Kullanım notları

  • Bu ilke, ilke bölümünde yalnızca bir kez kullanılabilir.

Örnekler

İlgili azure-openai-semantic-cache-store ilkesiyle ilgili örnek

<policies>
    <inbound>
        <base />
        <azure-openai-semantic-cache-lookup
            score-threshold="0.05"
            embeddings-backend-id ="azure-openai-backend"
            embeddings-backend-auth ="system-assigned" >
            <vary-by>@(context.Subscription.Id)</vary-by>
        </azure-openai-semantic-cache-lookup>
    </inbound>
    <outbound>
        <azure-openai-semantic-cache-store duration="60" />
        <base />
    </outbound>
</policies>

İlgili içerik

İlkelerle çalışma hakkında daha fazla bilgi için bkz: