Azure API Management を使用して Azure OpenAI for JavaScript をスケーリングする

[アーティクル]
12/30/2024

エンタープライズレベルの負荷分散をアプリケーションに追加して、Azure OpenAI Service トークンとモデルクォータの制限を超えてチャットアプリを拡張する方法について説明します。このアプローチでは、Azure API Management を使用して、3 つの Azure OpenAI リソース間でトラフィックをインテリジェントに転送します。

この記事では、次の 2 つの個別のサンプルをデプロイする必要があります。

チャットアプリ:
- チャットアプリをまだデプロイしていない場合は、ロードバランサーのサンプルがデプロイされるまで待ちます。
- チャットアプリを既に 1 回デプロイした場合は、ロードバランサーのカスタムエンドポイントをサポートするように環境変数を変更し、再デプロイします。
Azure API Management を使用したロードバランサー。

手記

この記事では、記事の例とガイダンスの基礎として 1 つ以上の AI アプリテンプレートを使用します。 AI アプリテンプレートを使用すると、デプロイが容易な保守性の高い参照実装が提供されます。 AI アプリの高品質な開始点を確保するのに役立ちます。

Azure API Management を使用して Azure OpenAI を負荷分散するためのアーキテクチャ

Azure OpenAI リソースには特定のトークンとモデルのクォータ制限があるため、1 つの Azure OpenAI リソースを使用するチャットアプリでは、これらの制限のために会話エラーが発生する傾向があります。

Azure OpenAI リソースが強調表示されたチャットアプリのアーキテクチャを示す図。

これらの制限に達せずにチャットアプリを使用するには、API Management で負荷分散ソリューションを使用します。このソリューションは、API Management からチャットアプリサーバーに単一のエンドポイントをシームレスに公開します。

3 つの Azure OpenAI リソースの前に Azure API Management を使用したチャットアプリのアーキテクチャを示す図。

API Management リソースは、API レイヤーとして、一連の Azure OpenAI リソースの前に配置されます。 API レイヤーは、通常とスロットルの2つのシナリオに適用されます。トークンとモデルのクォータを使用できる通常のシナリオでは、Azure OpenAI リソースは API レイヤーとバックエンドアプリサーバーを通じて 200 を返します。

3 つの Azure OpenAI エンドポイントグループを含む通常のシナリオを示す図。2 つのエンドポイントの最初のグループがトラフィックを成功させます。

クォータ制限によりリソースが調整される場合、API レイヤーは、元のチャットアプリの要求を満たすために別の Azure OpenAI リソースをすぐに再試行できます。

スロットリングシナリオを示す図で、これは 429 の失敗した応答コードと、クライアントが再試行まで待機する必要がある秒数を示す応答ヘッダーを含みます。

前提条件

Azure サブスクリプション。無料で一つを作成
開発コンテナーは両方のサンプルで使用でき、この記事を完了するために必要なすべての依存関係があります。開発コンテナーは、GitHub Codespaces (ブラウザー) で実行することも、Visual Studio Code を使用してローカルで実行することもできます。
- Codespaces (推奨)
- Visual Studio Code
- Codespaces を使用するには、GitHub アカウントのみが必要です
- Docker Desktop - Docker Desktop がまだ実行されていない場合は起動します
- Visual Studio Code
- 開発コンテナー拡張機能

Azure API Management ローカルバランサーのサンプルアプリを開く

GitHub Codespaces (推奨)
Visual Studio Code

GitHub Codespaces は、Web 用の Visual Studio Code ユーザーインターフェイスとして GitHub によって管理される開発コンテナーを実行します。最も簡単な開発環境では、GitHub Codespaces を使用して、この記事を完了するために正しい開発者ツールと依存関係がプレインストールされるようにします。

重要

すべての GitHub アカウントでは、2 つのコアインスタンスで毎月最大 60 時間無料で GitHub Codespaces を使用できます。詳細については、GitHub Codespaces の毎月のストレージとコア時間を参照してください。

Azure API Management ロードバランサーをデプロイする

ロードバランサーを Azure にデプロイするには、Azure Developer CLI (AZD) にサインインします。
```
azd auth login
```
サインイン手順を完了します。
ロードバランサーアプリをデプロイします。
```
azd up
```
デプロイのサブスクリプションとリージョンを選択します。チャットアプリと同じサブスクリプションとリージョンである必要はありません。
デプロイが完了するまで待ってから続行します。このプロセスには最大 30 分かかる場合があります。

ロードバランサーエンドポイントを取得する

次の Bash コマンドを実行して、デプロイの環境変数を確認します。この情報は後で必要になります。

azd env get-values | grep APIM_GATEWAY_URL

ロードバランサーエンドポイントを使用してチャットアプリを再デプロイする

これらの例は、チャットアプリのサンプルで完了しています。

初期デプロイ
再デプロイ

次のいずれかの選択肢を使用して、チャットアプリサンプルの開発コンテナーを開きます。

言語 GitHub Codespaces Visual Studio Code

.NET で開く

JavaScript で開く

Python で開く
Azure Developer CLI (AZD) にサインインします。
```
azd auth login
```
サインイン手順を完了します。
chat-appなどの名前を持つ AZD 環境を作成します。
```
azd env new <name>
```
次の環境変数を追加します。これは、チャットアプリのバックエンドに、Azure OpenAI 要求にカスタム URL を使用するように指示します。
```
azd env set OPENAI_HOST azure_custom
```
次の環境変数を追加します。これは、チャットアプリのバックエンドに、Azure OpenAI 要求のカスタム URL の値を示します。
```
azd env set AZURE_OPENAI_CUSTOM_URL <APIM_GATEWAY_URL>
```
チャットアプリを展開します。
```
azd up
```

言語	GitHub Codespaces	Visual Studio Code
.NET	で開く
JavaScript	で開く
Python	で開く

次のいずれかの選択肢を使用して、チャットアプリサンプルの開発コンテナーをもう一度開きます。

言語 GitHub Codespaces Visual Studio Code

.NET で開く

JavaScript で開く

Python で開く Devコンテナで開く
次の環境変数を追加します。これは、チャットアプリのバックエンドに、Azure OpenAI 要求にカスタム URL を使用するように指示します。
```
azd env set OPENAI_HOST azure_custom
```
次の環境変数を追加します。これは、チャットアプリのバックエンドに、Azure OpenAI 要求のカスタム URL の値を示します。
```
azd env set set AZURE_OPENAI_CUSTOM_URL <APIM_GATEWAY_URL>
```
チャットアプリを展開します。
```
azd up
```
続行する前に、このプロセスが完了するまで待ちます。

言語	GitHub Codespaces	Visual Studio Code
.NET	で開く
JavaScript	で開く
Python	で開く	Devコンテナで開く

TPM クォータを構成する

既定では、ロードバランサー内の各 Azure OpenAI インスタンスは、1 分あたり 30,000 トークン (TPM) の容量でデプロイされます。チャットアプリは、クォータを使い切ることなく、多くのユーザー間でスケーリングできるように構築されているという確信を持って使用できます。この値は、次の場合に変更します。

デプロイ容量エラーが発生する: 値を小さくします。
より高い容量が必要な場合は、値を上げてください。

次のコマンドを使用して値を変更します。
```
azd env set OPENAI_CAPACITY 50
```
ロードバランサーを再デプロイします。
```
azd up
```

リソースのクリーンアップ

チャットアプリとロードバランサーの使用が完了したら、リソースをクリーンアップします。この記事で作成した Azure リソースは、Azure サブスクリプションに課金されます。今後これらのリソースが必要になるとは思わない場合は、削除して、より多くの料金が発生しないようにします。

チャットアプリリソースをクリーンアップする

これらのリソースをクリーンアップするには、チャットアプリの記事に戻ります。

ロードバランサーリソースをクリーンアップする

次の Azure Developer CLI コマンドを実行して、Azure リソースを削除し、ソースコードを削除します。

azd down --purge --force

スイッチは次の機能を提供します。

purge: 削除されたリソースは直ちに消去されます。 1 分あたりに Azure OpenAI トークンを再利用できます。
force: 削除は、ユーザーの同意を必要とせずに、自動的に行われます。

GitHub Codespaces 環境を削除すると、アカウントに対して取得するコア時間単位の無料エンタイトルメントの量を最大化できます。

重要

GitHub アカウントの権利の詳細については、「GitHub Codespaces の月単位で含まれるストレージとコア時間」を参照してください。

GitHub Codespaces ダッシュボードにサインインします。
azure-samples/openai-apim-lb GitHub リポジトリから提供されている現在稼働中のコードスペースを探します。
GitHub Codespaces 項目のコンテキストメニューを開き、[ 削除]を選択します。

ヘルプを受ける

Azure API Management ロードバランサーのデプロイで問題が発生した場合は、リポジトリの Issues Web ページに問題を追加します。

サンプルコード

この記事で使用されるサンプルは次のとおりです。

RAGを使用したJavaScriptチャットアプリ
Azure API Management を備えたロードバランサー

次の手順

Azure Monitor で Azure API Management 診断データを表示する
Azure Load Testing を使用して、Azure Load Testing サービスを使用してチャットアプリをロードテストします。

次の方法で共有