Azure API Management를 사용하여 JavaScript용 Azure OpenAI 크기 조정

애플리케이션에 엔터프라이즈급 부하 분산을 추가하여 Azure OpenAI 서비스 토큰 및 모델 할당량 제한을 초과하여 채팅 앱을 확장하는 방법을 알아봅니다. 이 방법은 Azure API Management를 사용하여 세 개의 Azure OpenAI 리소스 간에 트래픽을 지능적으로 전달합니다.

이 문서에서는 2개의 별도 샘플을 배포해야 합니다.

• 채팅 앱:
  • 아직 채팅 앱을 배포하지 않은 경우 부하 분산 장치 샘플이 배포될 때까지 기다립니다.
  • 채팅 앱을 이미 한 번 배포한 경우 부하 분산 장치에 대한 사용자 지정 엔드포인트를 지원하도록 환경 변수를 변경하고 다시 배포합니다.
• Azure API Management를 사용하는 부하 분산 장치.

Azure API Management를 사용하여 Azure OpenAI 부하 분산을 위한 아키텍처

Azure OpenAI 리소스에는 특정 토큰 및 모델 할당량 제한이 있으므로 단일 Azure OpenAI 리소스를 사용하는 채팅 앱은 이러한 제한으로 인해 대화에 실패하는 경향이 있습니다.

Azure OpenAI 리소스가 강조 표시된 채팅 앱 아키텍처를 보여 주는

이러한 제한에 도달하지 않고 채팅 앱을 사용하려면 API Management에서 부하 분산 솔루션을 사용합니다. 이 솔루션은 API Management의 단일 엔드포인트를 채팅 앱 서버에 원활하게 노출합니다.

세 개의 Azure OpenAI 리소스 앞에서 Azure API Management를 사용한 채팅 앱 아키텍처를 보여 주는

API Management 리소스는 API 계층으로서 Azure OpenAI 리소스 집합 앞에 있습니다. API 계층은 일반 및 제한의 두 가지 시나리오에 적용됩니다. 토큰 및 모델 할당량을 사용할 수 있는 일반적인 시나리오에서 Azure OpenAI 리소스는 API 계층 및 백 엔드 앱 서버를 통해 200을 다시 반환합니다.

세 개의 Azure OpenAI 엔드포인트 그룹이 있는 일반적인 시나리오를 보여 주는

리소스가 할당량 제한으로 인해 제한될 경우, API 계층은 다른 Azure OpenAI 리소스를 즉시 다시 시도하여 원래 채팅 앱 요청을 수행할 수 있습니다.

429 실패 응답 코드와 클라이언트가 다시 시도하기 위해 대기해야 하는 시간(초)의 응답 헤더가 있는 제한 시나리오를 보여 주는

필수 조건

• Azure 구독. 무료로 계정 만들기

• 원하는 Azure 구독의 Azure OpenAI에 대한 액세스 권한.

  현재 이 서비스에 대한 액세스 권한은 애플리케이션에서만 부여됩니다. https://aka.ms/oai/access에서 양식을 작성하여 Azure OpenAI에 대한 액세스를 신청할 수 있습니다.

• 개발 컨테이너는 두 샘플 모두에 사용할 수 있으며 이 문서를 완료하는 데 필요한 모든 종속성이 포함되어 있습니다. GitHub Codespaces(브라우저)에서 개발 컨테이너를 실행하거나 Visual Studio Code를 사용하여 로컬로 실행할 수 있습니다.

  • Codespaces(권장)
  • Visual Studio Code

  • Codespaces를 사용하려면 GitHub 계정 만 필요합니다.

Azure API Management 로컬 분산 장치 샘플 앱 열기

Azure API Management 로드 밸런서 배포

1. Azure에 부하 분산 장치를 배포하려면 Azure Developer CLI(AZD)에 로그인합니다.

   azd auth login
   

2. 로그인 지침 작성을 완료하세요.

3. 부하 분산 장치 앱을 배포합니다.

   azd up
   

   배포에 대한 구독 및 지역을 선택합니다. 채팅 앱과 동일한 구독 및 지역이 될 필요는 없습니다.

4. 계속하기 전에 배포가 완료되기를 기다립니다. 이 프로세스는 최대 30분이 걸릴 수 있습니다.

부하 분산 장치 엔드포인트 가져오기

다음 Bash 명령을 실행하여 배포의 환경 변수를 확인합니다. 이 정보는 이후 단계에서 필요합니다.

azd env get-values | grep APIM_GATEWAY_URL

부하 분산 장치 엔드포인트를 사용하여 채팅 앱 다시 배포

이러한 예시는 채팅 앱 예시에서 완료되어 있습니다.

TPM 할당량 구성

기본적으로 부하 분산 장치의 각 Azure OpenAI 인스턴스는 TPM(분당 30,000개 토큰)의 용량으로 배포됩니다. 할당량을 초과하지 않고 많은 사용자에 걸쳐 크기 조정할 수 있도록 빌드된 채팅 앱을 안심하고 사용할 수 있습니다. 다음과 같은 경우 이 값을 변경합니다.

• 배포 용량 오류가 발생합니다. 값을 낮추세요.
• 더 높은 용량이 필요합니다. 값을 올리십시오.

1. 다음 명령을 사용하여 값을 변경합니다.

   azd env set OPENAI_CAPACITY 50
   

2. 부하 분산 장치를 다시 배포합니다.

   azd up
   

리소스 정리

채팅 앱 및 부하 분산 장치를 완료하면 리소스를 정리합니다. 이 문서에서 만들어진 Azure 리소스는 Azure 구독에 요금이 청구됩니다. 앞으로 이러한 리소스가 필요하지 않을 것으로 예상되는 경우 추가 요금이 발생하지 않도록 삭제합니다.

채팅 앱 리소스 정리

채팅 앱 문서로 돌아가서 해당 리소스를 정리합니다.

• .NET
• JavaScript
• Python

부하 분산 장치 리소스 정리

다음 Azure 개발자 CLI 명령을 실행하여 Azure 리소스를 삭제하고 소스 코드를 제거합니다.

azd down --purge --force

스위치는 다음을 제공합니다.

• purge: 제거된 리소스는 즉시 제거됩니다. 분당 Azure OpenAI 토큰을 다시 사용할 수 있습니다.
• force: 삭제는 사용자 동의 없이 자동으로 수행됩니다.

리소스 정리

도움말 보기

Azure API Management 부하 분산 장치를 배포하는 데 문제가 있는 경우 리포지토리의 문제 웹 페이지에 문제를 추가합니다.

샘플 코드

이 문서에 사용된 샘플은 다음과 같습니다.

• RAG를 사용하여 JavaScript 채팅 앱
• Azure API Management를 사용하는 Load Balancer

다음 단계

• Azure Monitor에서 Azure API Management 진단 데이터 보기
• Azure Load Testing을 사용하여 를 사용하여 채팅 앱 로드