Azure Container Apps ile RAG kullanarak .NET sohbeti için Azure OpenAI'i ölçeklendirme

Sohbet uygulamasını Azure OpenAI belirteci ve model kotası sınırlarının ötesine genişletmek için uygulamanıza yük dengeleme eklemeyi öğrenin. Bu yaklaşım, üç Azure OpenAI uç noktası oluşturmak için Azure Container Apps'i ve gelen trafiği üç uç noktadan birine yönlendirmek için birincil kapsayıcıyı kullanır.

Bu makalede iki ayrı örnek dağıtmanız gerekir:

• Sohbet uygulaması

  • Sohbet uygulamasını henüz dağıtmıyorsanız yük dengeleyici örneği dağıtılana kadar bekleyin.

  • Sohbet uygulamasını zaten bir kez dağıttıysanız ortam değişkenini yük dengeleyici için özel bir uç noktayı destekleyecek şekilde değiştirecek ve yeniden dağıtacaksınız.

  • Sohbet uygulaması şu dillerde kullanılabilir:

    • .NET
    • JavaScript
    • Python

• Yük dengeleyici uygulaması

Azure Container Apps ile Azure OpenAI yük dengeleme mimarisi

Azure OpenAI kaynağı belirli belirteç ve model kota sınırlarına sahip olduğundan, tek bir Azure OpenAI kaynağı kullanan bir sohbet uygulaması bu sınırlardan dolayı konuşma hatalarına neden olabilir.

Azure OpenAI kaynağının vurgulandığı sohbet uygulaması mimarisini gösteren

Sohbet uygulamasını bu sınırlara uymadan kullanmak için Azure Container Apps ile yük dengeli bir çözüm kullanın. Bu çözüm, Azure Container Apps'ten sohbet uygulama sunucunuza tek bir uç noktayı sorunsuz bir şekilde kullanıma sunar.

üç Azure OpenAI kaynağının önünde Azure Container Apps ile sohbet uygulaması mimarisini gösteren

Azure Container uygulaması, bir dizi Azure OpenAI kaynağının önünde yer alır. Kapsayıcı uygulaması iki senaryoyu çözer: normal ve kısıtlanmış. Belirteç ve model kotasının kullanılabilir olduğu normal bir senaryo sırasında Azure OpenAI kaynağı, Container App ve App Server aracılığıyla 200 değerini döndürür.

Normal bir senaryo gösteren diyagram

Bir kaynak kota sınırları gibi kısıtlanmış bir senaryoda olduğunda, Azure Container uygulaması özgün sohbet uygulaması isteğini yerine getirmek için farklı bir Azure OpenAI kaynağını hemen yeniden deneyebilir.

Önkoşullar

• Azure aboneliği. Bir tane ücretsiz oluşturun

• İstenen Azure aboneliğinde Azure OpenAI'ye erişim izni verilir.

  Şu anda bu hizmete erişim yalnızca uygulama tarafından verilmiştir. Azure OpenAI'ye erişim için başvurmanız gerekir.

• Geliştirme kapsayıcıları her iki örnek için de kullanılabilir ve bu makaleyi tamamlamak için gereken tüm bağımlılıklar vardır. Geliştirme kapsayıcılarını GitHub Codespaces'ta (tarayıcıda) veya Visual Studio Code'u kullanarak yerel olarak çalıştırabilirsiniz.

Kapsayıcı uygulamaları yerel dengeleyici örnek uygulamasını açma

Azure Container Apps yük dengeleyiciyi dağıtma

1. Sağlama ve dağıtım adımlarında kimlik doğrulaması sağlamak için Azure Geliştirici CLI'sinde oturum açın.

   azd auth login --use-device-code
   

2. Sağlama sonrası adımında Azure CLI kimlik doğrulamasını kullanmak için bir ortam değişkeni ayarlayın.

   azd config set auth.useAzCliAuth "true"
   

3. Yük dengeleyici uygulamasını dağıtın.

   azd up
   

   Dağıtım için bir abonelik ve bölge seçmeniz gerekir. Bunların sohbet uygulamasıyla aynı abonelik ve bölge olması gerekmez.

4. Devam etmeden önce dağıtımın tamamlanmasını bekleyin.

Dağıtım uç noktasını alma

1. Azure Container uygulaması için dağıtılan uç noktayı görüntülemek için aşağıdaki komutu kullanın.

   azd env get-values
   

2. CONTAINER_APP_URL değerini kopyalayın. Sonraki bölümde kullanacaksınız.

Yük dengeleyici uç noktası ile Sohbet uygulamasını yeniden dağıtma

Bunlar sohbet uygulaması örneğinde tamamlanır.

Artık sohbet uygulamasını, kotası dolmadan birçok kullanıcı arasında ölçeklendirilecek şekilde oluşturulduğundan güvenle kullanabilirsiniz.

Yük dengeleyici sonuçlarını görmek için günlükleri akış olarak izle

1. Azure portalındakaynak grubunuzda arama yapın.

2. Gruptaki kaynak listesinden Kapsayıcı Uygulaması kaynağını seçin.

3. günlüğü görüntülemek için İzleme -> Günlük akışı seçin.

4. Günlükte trafik oluşturmak için sohbet uygulamasını kullanın.

5. Azure OpenAI kaynaklarına referans veren günlükleri arayın. Üç kaynağın her biri, Proxying to https://openai3ile başlayan günlük açıklamasında sayısal kimliğine sahiptir; burada 3 üçüncü Azure OpenAI kaynağını gösterir.

   

6. Sohbet uygulamasını kullanırken yük dengeleyici isteğin kotayı aştığını belirten durumu aldığında yük dengeleyici otomatik olarak başka bir kaynağa döner.

TPM kotasını yapılandırma

Varsayılan olarak, yük dengeleyicideki Azure OpenAI örneklerinin her biri dakikada 30.000 belirteç (TPM) kapasitesiyle dağıtılır. Sohbet uygulamasını, kotası dolmadan birçok kullanıcı arasında ölçeklendirilecek şekilde oluşturulduğundan güvenle kullanabilirsiniz. Şu durumlarda bu değeri değiştirin:

• Dağıtım kapasitesi hataları alıyorsunuz: Değeri düşürebilirsiniz.
• Daha yüksek kapasiteye ihtiyacınız var: Değeri yükseltin.

1. Değeri değiştirmek için aşağıdaki komutu kullanın:

   azd env set OPENAI_CAPACITY 50
   

2. Yük dengeleyiciyi yeniden dağıtın:

   azd up
   

Kaynakları temizleme

Hem sohbet uygulaması hem de yük dengeleyici ile işiniz bittiğinde kaynakları temizleyin. Bu makalede oluşturulan Azure kaynakları Azure aboneliğinize faturalandırılır. Gelecekte bu kaynaklara ihtiyaç duymayı beklemiyorsanız, daha fazla ücret ödememek için bunları silin.

Sohbet uygulaması kaynaklarını temizleme

Bu kaynakları temizlemek için sohbet uygulaması makalesine dönün.

• .NET
• JavaScript
• Python

Yükleme Dengeleyici kaynaklarını temizle

Azure kaynaklarını silmek ve kaynak kodu kaldırmak için aşağıdaki Azure Geliştirici CLI komutunu çalıştırın:

azd down --purge --force

Anahtarlar aşağıdakileri sağlar:

• purge: Silinen kaynaklar hemen temizlenir. Bu, Azure OpenAI TPM'yi yeniden kullanmanıza olanak tanır.
• force: Silme işlemi kullanıcı onayı gerektirmeden sessizce gerçekleşir.

GitHub Codespaces'i temizleme

Yardım alın

Azure API Management yük dengeleyicisini dağıtırken sorun yaşıyorsanız, sorununuzu deponun Sorunlarkısmına kaydedin.

Örnek kod

Bu makalede kullanılan örnekler şunlardır:

• RAG ile .NET sohbet uygulaması
• Yük Dengeleyici ile Azure Container Apps

Sonraki adım

• Sohbet uygulamanızı yük testi için Azure Load Testing kullanma