Azure Container Apps에서 서버리스 GPU 사용(미리 보기)

Azure Container Apps는 기본 인프라를 관리할 필요 없이 주문형 GPU에 대한 액세스를 제공합니다. 서버리스 기능으로 사용 중인 GPU에 대해서만 요금을 지불합니다. 사용하도록 설정하면 애플리케이션의 부하 요구를 충족하기 위해 앱에 사용되는 GPU 수가 증가하고 감소합니다. 서버리스 GPU를 사용하면 자동 크기 조정, 최적화된 콜드 스타트, 사용하지 않을 때 0으로 축소된 초당 청구, 운영 오버헤드 감소로 워크로드를 원활하게 실행할 수 있습니다.

서버리스 GPU는 소비 워크로드 프로필에 대해서만 지원됩니다. 이 기능은 소비 전용 환경에서 지원되지 않습니다.

이점

서버리스 GPU는 핵심 AI 코드에 집중하고 GPU를 사용할 때 인프라 관리에 집중할 수 있도록 하여 AI 개발을 가속화합니다. 이 기능은 Azure AI 모델 카탈로그의 서버리스 API와 관리형 컴퓨팅의 호스팅 모델 간에 중간 계층 옵션을 제공합니다.

Container Apps 서버리스 GPU 지원은 애플리케이션을 빌드할 관리되는 서버리스 플랫폼을 제공하면서 데이터가 컨테이너의 경계를 벗어나지 않을 때 전체 데이터 거버넌스를 제공합니다.

Container Apps에서 서버리스 GPU를 사용하는 경우 앱은 다음을 가져옵니다.

• GPU 0으로 확장: NVIDIA A100 및 NVIDIA T4 GPU의 자동 서버리스 크기 조정 지원

• 초당 청구: 사용하는 GPU 컴퓨팅에 대해서만 지불합니다.

• 기본 제공 데이터 거버넌스: 데이터는 컨테이너 경계를 벗어나지 않습니다.

• 유연한 컴퓨팅 옵션: NVIDIA A100 또는 T4 GPU 유형 중에서 선택할 수 있습니다.

• AI 개발을 위한 중간 계층: 관리형 서버리스 컴퓨팅 플랫폼에서 사용자 고유의 모델을 가져옵니다.

일반적인 시나리오

다음 시나리오에서는 포괄적이 아니지만 서버리스 GPU에 대한 일반적인 사용 사례를 설명합니다.

• 실시간 및 일괄 처리 추론: 빠른 시작 시간, 자동 크기 조정 및 초당 청구 모델에서 사용자 지정 오픈 소스 모델을 사용합니다. 서버리스 GPU는 동적 애플리케이션에 적합합니다. 사용하는 컴퓨팅에 대해서만 비용을 지불하고, 앱은 수요에 맞게 자동으로 스케일 인 및 스케일 아웃됩니다.

• 기계 학습 시나리오: 미세 조정된 사용자 지정 생성 AI 모델, 딥 러닝, 신경망 또는 대규모 데이터 분석을 구현하는 애플리케이션의 속도를 크게 향상합니다.

• HPC(고성능 컴퓨팅): 과학 컴퓨팅, 재무 모델링 또는 일기 예보와 같은 복잡한 계산 및 시뮬레이션이 필요한 애플리케이션은 높은 계산 요구를 위한 리소스로 GPU를 사용합니다.

• 렌더링 및 시각화: 3D 렌더링, 이미지 처리 또는 비디오 코드 변환이 포함된 애플리케이션은 종종 GPU를 사용하여 렌더링 프로세스를 가속화하고 실시간 시각화를 사용하도록 설정합니다.

• 빅 데이터 분석: GPU는 대규모 데이터 세트 간의 데이터 처리 및 분석을 가속화할 수 있습니다.

고려 사항

서버리스 GPU를 사용할 때 다음 항목에 유의하세요.

• CUDA 버전: 서버리스 GPU는 최신 CUDA 버전을 지원합니다.

• 지원 제한 사항:

  • 앱에서 한 번에 하나의 컨테이너만 GPU를 사용할 수 있습니다.
  • 여러 앱이 동일한 GPU 워크로드 프로필을 공유할 수 있지만 각각에는 자체 복제본이 필요합니다.
  • 다중 및 소수 GPU 복제본은 지원되지 않습니다.
  • 애플리케이션의 첫 번째 컨테이너는 GPU에 대한 액세스를 가져옵니다.

• IP 주소: 사용자 고유의 가상 네트워크와의 통합을 설정할 때 소비 GPU는 복제본당 하나의 IP 주소를 사용합니다.

서버리스 GPU 할당량 요청

이 기능에 대한 액세스는 서버리스 GPU 할당량이 있는 경우에만 사용할 수 있습니다. 고객 지원 사례를 통해 GPU 할당량 요청을 제출할 수 있습니다. GPU 할당량 요청에 대한 지원 사례를 열 때 문제 유형 "기술"을 선택합니다.

지원되는 지역

서버리스 GPU는 미국 서부 3 및 오스트레일리아 동부 지역에서 미리 보기로 제공됩니다.

서버리스 GPU 사용

Azure Portal을 통해 컨테이너 앱을 만들 때 GPU 리소스를 사용하도록 컨테이너를 설정할 수 있습니다.

만들기 프로세스의 컨테이너 탭에서 다음 설정을 지정합니다.

1. 컨테이너 리소스 할당 섹션에서 GPU 확인란을 선택합니다.

2. GPU 유형*의 경우 NVIDIA A100 또는 NVIDIA T4 옵션을 선택합니다.

서버리스 GPU 워크로드 프로필 관리

서버리스 GPU는 사용 중인 GPU 워크로드 프로필에서 실행됩니다. 다른 워크로드 프로필과 동일한 방식으로 소비 GPU 워크로드 프로필을 관리합니다. CLI 또는 Azure Portal을 사용하여 워크로드 프로필을 관리할 수 있습니다.

GPU 콜드 시작 개선

Azure Container Registry에서 아티팩트 스트리밍을 사용하도록 설정하여 GPU 사용 컨테이너에서 콜드 스타트를 개선할 수 있습니다.

다음 단계를 사용하여 이미지 스트리밍을 사용하도록 설정합니다.

1. Azure Portal에서 Azure Container Registry를 엽니다.

2. 리포지토리를 검색하고 리포지토리를 선택합니다.

3. 리포지토리 이름을 선택합니다.

4. 리포지토리 창에서 아티팩트 스트리밍 시작을 선택합니다.

5. 스트리밍할 이미지 태그를 선택합니다.

6. 팝업 창에서 스트리밍 아티팩트 만들기를 선택합니다.

피드백 제출

Azure Container Apps GitHub 리포지토리에 문제를 제출합니다.

다음 단계