Locust에서 RAG를 사용하여 Python 채팅 앱의 부하 테스트 수행
이 문서에서는 인기 있는 오픈 소스 부하 테스트 도구인 Locust와 함께 RAG(검색 증강 세대) 패턴을 사용하여 Python 채팅 애플리케이션에서 부하 테스트를 수행하는 프로세스를 제공합니다. 부하 테스트의 기본 목표는 채팅 애플리케이션의 예상 부하가 현재 TPM(분당 Azure OpenAI Service 트랜잭션) 할당량을 초과하지 않도록 하는 것입니다. 부하가 많은 사용자 동작을 시뮬레이션하여 애플리케이션에서 잠재적인 병목 상태 및 확장성 문제를 식별할 수 있습니다. 이 프로세스는 많은 양의 사용자 요청에 직면하더라도 채팅 애플리케이션이 응답성과 안정성을 유지하도록 하는 데 중요합니다.
메모
이 문서는 예제와 지침의 기초로 하나 이상의 AI 앱 템플릿을 사용합니다. AI 앱 템플릿은 배포하기 쉬운 잘 유지 관리되는 참조 구현을 제공합니다. AI 앱의 고품질 시작점을 보장하는 데 도움이 됩니다.
필수 구성 요소
Azure 구독. 무료로 하나를만드세요.
개발 컨테이너 이 문서를 완료하는 데 필요한 모든 종속성이 있는 두 샘플 모두에 사용할 수 있습니다. GitHub Codespaces(브라우저)에서 또는 Visual Studio Code를 사용하여 로컬로 개발 컨테이너를 실행할 수 있습니다.
Python 채팅 앱 , RAG사용. 부하 분산 솔루션 중 하나를 사용하도록 채팅 앱을 구성한 경우 이 문서는 부하 분산을 테스트하는 데 도움이 됩니다. 부하 분산 솔루션에는 Azure Container Apps이 포함됩니다.
부하 테스트 샘플 앱 열기
Locust 테스트는 부하 테스트로, Python 채팅 앱 솔루션에 있습니다. 해당 문서로 돌아가서 솔루션을 배포한 다음, 해당 개발 컨테이너 개발 환경을 사용하여 다음 단계를 완료합니다.
테스트 실행
부하 테스트에 대한 종속성을 설치합니다.
python3 -m pip install -r requirements-dev.txtLocust 테스트 파일 locustfile.py를 사용하는 Locust를 시작하세요. 리포지토리의 루트에서 찾을 수 있습니다.
locust실행 중인 Locust 웹 사이트(예:
http://localhost:8089)를 엽니다.Locust 웹 사이트에 다음 값을 입력합니다.
재산 값 사용자 수 20 증가시키다 1 호스트 https://<YOUR-CHAT-APP-URL>.azurewebsites.net
Start Swarm을 선택하여 테스트를 시작합니다.
차트 를 선택하여 테스트 진행 상황을 관찰합니다.
리소스 정리
부하 테스트를 마쳤으면 리소스를 정리합니다. 이 문서에서 만든 Azure 리소스는 Azure 구독에 청구됩니다. 나중에 이러한 리소스가 필요하지 않은 경우 더 많은 요금이 발생하지 않도록 해당 리소스를 삭제합니다. 이 문서와 관련된 리소스를 삭제한 후에는 다른 채팅 앱 자습서로 돌아가 정리 단계를 수행해야 합니다.
채팅 앱 기사로 돌아가서 해당 리소스를 정리할 수 있습니다.
도움받기
이 부하 테스터를 사용하는 데 문제가 있는 경우 리포지토리의 문제 웹 페이지에 문제를 추가합니다.