프롬프트 흐름에서 네트워크 격리
프라이빗 네트워크를 사용하여 프롬프트 흐름을 보호할 수 있습니다. 이 문서에서는 프라이빗 네트워크로 보호되는 환경에서 프롬프트 흐름을 사용하기 위한 요구 사항을 설명합니다.
관련 서비스
프롬프트 흐름을 사용하여 LLM 애플리케이션을 개발하는 경우 보안 환경이 필요합니다. 네트워크 설정을 통해 다음 서비스를 프라이빗으로 설정할 수 있습니다.
- 작업 영역: Azure Machine Learning 작업 영역을 비공개로 설정하고 해당 작업 영역의 인바운드와 아웃바운드를 제한할 수 있습니다.
- 컴퓨팅 리소스: 작업 영역에서 컴퓨팅 리소스의 인바운드 및 아웃바운드 규칙을 제한할 수도 있습니다.
- 스토리지 계정: 스토리지 계정의 액세스 가능성을 특정 가상 네트워크로 제한할 수 있습니다.
- 컨테이너 레지스트리: 또한 가상 네트워크로 컨테이너 레지스트리를 보호하려고 합니다.
- 엔드포인트: 엔드포인트에 액세스하도록 Azure 서비스 또는 IP 주소를 제한하세요.
- Azure OpenAI, Azure 콘텐츠 안전성 및 Azure AI Search와 같은 관련 Azure Cognitive Services는 네트워크 구성을 사용하여 프라이빗으로 만들고 프라이빗 엔드포인트를 사용하여 Azure Machine Learning Service에서 통신할 수 있도록 할 수 있습니다.
- 다른 비 Azure 리소스(예: SerpAPI 등) 엄격한 아웃바운드 규칙이 있는 경우 액세스하려면 FQDN 규칙을 추가해야 합니다.
다양한 네트워크 설정의 옵션
Azure Machine Learning에는 네트워크 격리를 보호하는 두 가지 옵션, 자체 네트워크 가져오기 또는 작업 영역 관리되는 가상 네트워크를 사용하는 옵션이 있습니다. 보안 작업 영역 리소스에 대해 자세히 알아봅니다.
다음은 프롬프트 흐름을 위해 설정된 다양한 네트워크의 옵션을 설명하는 표입니다.
| 수신 | 송신 | 작성 시 컴퓨팅 형식 | 유추의 컴퓨팅 형식 | 작업 영역의 네트워크 옵션 |
|---|---|---|---|---|
| 공공 사업 | 공공 사업 | 서버리스(권장), 컴퓨팅 인스턴스 | 관리형 온라인 엔드포인트(권장) | 관리됨(권장) |
| 공공 사업 | 공공 사업 | 서버리스(권장), 컴퓨팅 인스턴스 | K8s 온라인 엔드포인트 | 사용자 소유 가져오기 |
| 개인 | 공공 사업 | 서버리스(권장), 컴퓨팅 인스턴스 | 관리형 온라인 엔드포인트(권장) | 관리됨(권장) |
| 개인 | 공공 사업 | 서버리스(권장), 컴퓨팅 인스턴스 | K8s 온라인 엔드포인트 | 사용자 소유 가져오기 |
| 공공 사업 | 프라이빗 | 서버리스(권장), 컴퓨팅 인스턴스 | 관리형 온라인 엔드포인트 | 관리형 |
| 프라이빗 | 프라이빗 | 서버리스(권장), 컴퓨팅 인스턴스 | 관리형 온라인 엔드포인트 | 관리형 |
- 프라이빗 VNet 시나리오에서는 작업 영역 지원 관리되는 가상 네트워크를 사용하는 것이 좋습니다. 작업 영역과 관련 리소스를 보호하는 가장 쉬운 방법입니다.
- 작업 영역을 관리하는 가상 네트워크에서 관리형 온라인 엔드포인트를 사용하여 가상 네트워크에서 프롬프트 흐름 작성을 위한 작업 영역과 프롬프트 흐름 배포를 위한 작업 영역을 별도로 가질 수도 있습니다.
- 관리되는 가상 네트워크의 혼합 사용을 지원하지 않았으며 단일 작업 영역에서 자체 가상 네트워크를 가져옵니다. 그리고 관리형 온라인 엔드포인트는 관리되는 가상 네트워크만 지원하므로 자체 가상 네트워크 가져오기를 사용하도록 설정한 작업 영역의 관리형 온라인 엔드포인트에 프롬프트 흐름을 배포할 수 없습니다.
작업 영역 관리형 가상 네트워크를 사용하여 프롬프트 흐름 보호
작업 영역 관리형 가상 네트워크는 프롬프트 흐름에서 네트워크 격리를 지원하는 데 권장되는 방법입니다. 작업 영역을 보호하기 위한 구성을 제공합니다. 작업 영역 수준에서 관리형 가상 네트워크를 사용하도록 설정하면 동일한 가상 네트워크의 작업 영역과 관련된 리소스는 작업 영역 수준에서 동일한 네트워크 설정을 사용합니다. 프라이빗 엔드포인트를 사용하여 Azure OpenAI, Azure 콘텐츠 안전성 및 Azure AI Search와 같은 다른 Azure 리소스에 액세스하도록 작업 영역을 구성할 수도 있습니다. SerpAPI 등과 같은 프롬프트 흐름에서 사용하는 비 Azure 리소스에 대한 아웃바운드를 승인하도록 FQDN 규칙을 구성할 수도 있습니다.
작업 영역 관리형 가상 네트워크를 사용하도록 설정하려면 작업 영역 관리되는 네트워크 격리를 따릅니다.
Important
관리되는 가상 네트워크 만들기는 컴퓨팅 리소스가 만들어지거나 프로비전이 수동으로 시작될 때까지 연기됩니다. 다음 명령을 사용하여 네트워크 프로비전을 수동으로 트리거할 수 있습니다.
az ml workspace provision-network --subscription <sub_id> -g <resource_group_name> -n <workspace_name>작업 영역과 연결된 스토리지 계정에
Storage File Data Privileged Contributor로 작업 영역 MSI를 추가합니다.2.1 Azure Portal로 이동하여 작업 영역을 찾습니다.
2.2 작업 영역과 연결된 스토리지 계정을 찾습니다.
2.3 스토리지 계정의 역할 할당 페이지로 이동합니다.
2.4 스토리지 파일 데이터 권한이 있는 기여자 역할을 찾습니다.
2.5 스토리지 파일 데이터 권한이 있는 기여자 역할을 작업 영역 관리 ID에 할당합니다.
참고 항목
이 작업이 적용되는 데 몇 분 정도 걸릴 수 있습니다.
프라이빗 Azure Cognitive Services와 연결하려면 관련 사용자 정의 아웃바운드 규칙을 관련 리소스에 추가해야 합니다. Azure Machine Learning 작업 영역은 자동 승인을 사용하여 관련 리소스에 프라이빗 엔드포인트를 만듭니다. 상태가 계속 보류 중인 경우 관련 리소스로 이동하여 프라이빗 엔드포인트를 수동으로 승인합니다.
특정 대상만 허용하도록 아웃바운드 트래픽을 제한하는 경우 관련 FQDN을 허용하려면 해당 사용자 정의 아웃바운드 규칙을 추가해야 합니다.
관리형 VNet을 사용하도록 설정할 수 있는 작업 영역에서는 프롬프트 흐름을 관리형 온라인 엔드포인트에만 배포할 수 있습니다. 네트워크 격리를 통해 관리형 온라인 엔트포인트 보호를 따라서 관리형 온라인 엔드포인트를 보호할 수 있습니다.
사용자 고유의 가상 네트워크를 사용하여 프롬프트 흐름 보호
Azure Machine Learning 관련 리소스를 프라이빗으로 설정하려면 보안 작업 영역 리소스를 참조하세요.
엄격한 아웃바운드 규칙이 있는 경우 필수 공용 인터넷 액세스를 열어야 합니다.
작업 영역과 연결된 스토리지 계정에
Storage File Data Privileged Contributor로 작업 영역 MSI를 추가합니다. 작업 영역 관리형 가상 네트워크를 사용하여 프롬프트 흐름 보호에 있는 2단계를 수행합니다.흐름 작성에서 서버리스 컴퓨팅 형식을 사용하는 경우 작업 영역 수준에서 사용자 지정 가상 네트워크를 설정해야 합니다. 가상 네트워크를 통한 Azure Machine Learning 학습 환경 보안에 대해 자세히 알아보기
serverless_compute: custom_subnet: /subscriptions/<sub id>/resourceGroups/<resource group>/providers/Microsoft.Network/virtualNetworks/<vnet name>/subnets/<subnet name> no_public_ip: false # Set to true if you don't want to assign public IP to the compute한편 프라이빗 Azure Cognitive Services를 따라 프라이빗으로 만들 수 있습니다.
사용자 고유의 가상 네트워크로 보호되는 작업 영역에 프롬프트 흐름을 배포하려는 경우 동일한 가상 네트워크에 있는 AKS 클러스터에 배포할 수 있습니다. Azure Kubernetes Service 추론 환경 보안에 따라 AKS 클러스터를 보호할 수 있습니다. 코드를 통해 ASK 클러스터에 프롬프트 흐름을 배포하는 방법에 대해 자세히 알아봅니다.
동일한 가상 네트워크에 프라이빗 엔드포인트를 만들거나 가상 네트워크 피어링을 활용하여 서로 통신할 수 있습니다.
알려진 제한 사항
- Azure AI Foundry는 사용자 고유의 가상 네트워크 가져오기를 지원하지 않으며 작업 영역 관리형 가상 네트워크만 지원합니다.
- 선택된 송신이 있는 관리형 온라인 엔드포인트는 관리되는 가상 네트워크가 있는 작업 영역만 지원합니다. 사용자 고유의 가상 네트워크를 사용하려는 경우 가상 네트워크로 프롬프트 흐름 작성을 위해 하나의 작업 영역과 작업 영역 관리형 가상 네트워크와 함께 관리형 온라인 엔드포인트를 사용하여 프롬프트 흐름 배포를 위한 다른 작업 영역이 필요할 수 있습니다.