Azure의 AI 워크로드에 대한 네트워킹 권장 사항
이 문서에서는 Azure에서 AI 워크로드를 실행하는 조직에 대한 네트워킹 권장 사항을 제공합니다. Azure AI Foundry, Azure OpenAI, Azure Machine Learning 및 Azure AI Services를 비롯한 Azure AI PaaS(Platform-as-a-Service) 솔루션에 중점을 둡니다. 생성 및 비제전적 AI 워크로드를 모두 다룹니다.
네트워킹을 사용하면 중요한 AI 리소스에 안전하고 효율적으로 연결할 수 있으며 데이터 무결성 및 개인 정보 보호의 기반이 됩니다. 효과적인 네트워킹 전략은 중요한 AI 워크로드를 무단 액세스로부터 보호하고 AI 모델 학습 및 배포에 대한 성능을 최적화하는 데 도움이 됩니다.
가상 네트워크 구성
가상 네트워크를 구성하는 것은 Azure AI 플랫폼에 대한 프라이빗 및 보안 네트워킹 환경을 설정하고 관리하는 것을 의미합니다. 가상 네트워크를 통해 조직은 AI 워크로드를 격리하고 보안 통신 채널을 만들 수 있습니다. 적절한 구성을 통해 권한 있는 사용자 및 시스템만 중요한 AI 리소스에 액세스할 수 있으며 공용 인터넷에 대한 노출을 최소화할 수 있습니다.
| AI 플랫폼 | 가상 네트워크 권장 사항 |
|---|---|
| Azure AI 파운드리 | 관리형 가상 네트워크 구성하고 프라이빗 엔드포인트사용합니다. 필요한 경우 온-프레미스 리소스에 관리되는 가상 네트워크를연결하십시오. |
| Azure OpenAI | |
| Azure Machine Learning | 가상 네트워크를 사용하여 보안 작업 영역을 만듭니다. 네트워크 격리를 계획합니다. Azure Machine Learning에 대한 보안 모범 사례 따릅니다. |
| Azure AI 서비스 | |
Azure AI Foundry
가상 네트워크 보안
가상 네트워크를 보호하려면 프라이빗 엔드포인트를 사용하고, DNS 영역을 적용하고, 사용자 지정 DNS 서버를 사용하여 AI 워크로드를 보호할 수 있습니다. 이러한 전략은 공용 인터넷 노출을 제한하고 무단 액세스를 방지합니다. 효과적인 네트워크 보안은 중요한 AI 모델을 보호하고 개인 정보 준수를 보장하는 데 필수적입니다.
프라이빗 엔드포인트 고려. PaaS 서비스 또는 AI 모델 엔드포인트는 공용 인터넷에서 액세스할 수 없습니다. 가상 네트워크 내에서 Azure 서비스에 대한 프라이빗 연결을 제공하는 프라이빗 엔드포인트입니다. 프라이빗 엔드포인트는 배포 및 작업에 복잡성을 추가하지만 보안 혜택이 복잡성보다 더 큰 경우가 많습니다.
AI 서비스 포털에 대한 프라이빗 엔드포인트를 만드는 것이 좋습니다. 프라이빗 엔드포인트는 Azure AI Foundry 및 Azure Machine Learning studioF와 같은 PaaS 포털에 대한 안전한 프라이빗 액세스를 제공합니다. 허브 가상 네트워크에서 이러한 글로벌 포털에 대한 프라이빗 엔드포인트를 설정합니다. 이 구성은 사용자 디바이스에서 직접 공용 포털 인터페이스에 대한 보안 액세스를 제공합니다.
프라이빗 DNS 영역을 적용하는 것이 좋습니다. 프라이빗 DNS 영역은 AI 네트워크 내에서 PaaS 서비스에 액세스하기 위한 중앙 집중식 및 보안 DNS 관리입니다. 프라이빗 DNS 영역을 적용하고 프라이빗 엔드포인트가 필요한 Azure 정책을 설정하여 안전한 내부 DNS 확인을 보장합니다. 중앙 프라이빗 DNS 영역이 없는 경우 조건부 전달을 수동으로 추가할 때까지 DNS 전달이 작동하지 않습니다. 예를 들어 Azure AI Foundry 허브 및 Azure Machine Learning 작업 영역에서 사용자 지정 DNS 사용하는
참조하세요. PaaS 서비스에 사용자 지정 DNS 서버 및 프라이빗 엔드포인트를 사용하도록 설정합니다. 사용자 지정 DNS 서버는 공용 DNS를 우회하여 네트워크 내에서 PaaS 연결을 관리합니다. PaaS 서비스 이름을 안전하게 확인하고 프라이빗 네트워킹 채널을 통해 모든 트래픽을 라우팅하도록 Azure에서 프라이빗 DNS 영역을 구성합니다.
연결 관리
연결 관리는 AI 리소스가 외부 시스템과 상호 작용하는 방식을 제어합니다. jumpbox 사용 및 아웃바운드 트래픽 제한과 같은 기술은 AI 워크로드를 보호하는 데 도움이 됩니다. 적절한 연결 관리는 보안 위험을 최소화하고 원활하고 중단 없는 AI 작업을 보장합니다.
액세스하려면 jumpbox를 사용합니다. AI 개발 액세스는 워크로드의 가상 네트워크 내에서 또는 연결 허브 가상 네트워크를 통해 jumpbox를 사용해야 합니다. Azure Bastion을 사용하여 AI 서비스와 상호 작용하는 가상 머신에 안전하게 연결합니다. Azure Bastion은 공용 인터넷에 VM을 노출하지 않고도 보안 RDP/SSH 연결을 제공합니다. Azure Bastion을 사용하도록 설정하여 암호화된 세션 데이터를 보장하고 TLS 기반 RDP/SSH 연결을 통해 액세스를 보호합니다.
AI 리소스에서 아웃바운드 트래픽을 제한합니다. AI 모델 엔드포인트에서 아웃바운드 트래픽을 제한하면 중요한 데이터를 보호하고 AI 모델의 무결성을 유지하는 데 도움이 됩니다. 데이터 반출 위험을 최소화하려면 승인된 서비스 또는 FQDN(정규화된 도메인 이름)으로 아웃바운드 트래픽을 제한하고 신뢰할 수 있는 원본 목록을 유지 관리합니다. 공용 기계 학습 리소스에 액세스해야 하는 경우에만 무제한 인터넷 아웃바운드 트래픽을 허용해야 하지만 정기적으로 시스템을 모니터링하고 업데이트해야 합니다. 자세한 내용은 Azure AI 서비스
, Azure AI Foundry 및 Azure Machine Learning 참조하세요. 생성 AI 게이트웨이를 고려합니다. APIM(Azure API Management)을 가상 네트워크 내에서 생성 AI 게이트웨이로 사용하는 것이 좋습니다. 생성 AI 게이트웨이는 프런트 엔드와 AI 엔드포인트 사이에 있습니다. 가상 네트워크 내의 Application Gateway, WAF 정책 및 APIM은 생성 AI 솔루션에서 설정된 아키텍처 입니다. 자세한 내용은 AI Hub 아키텍처 및 여러 Azure 지역에 Azure API Management 인스턴스 배포를 참조하세요.
인터넷에서 Azure로의 연결에 HTTPS를 사용합니다. TLS 프로토콜을 사용하여 연결을 보호하면 인터넷에서 연결하는 AI 워크로드의 데이터 무결성 및 기밀성을 보호할 수 있습니다. Azure 애플리케이션 게이트웨이 또는 Azure Front Door를 통해 HTTPS를 구현합니다. 두 서비스 모두 인터넷 기반 연결을 위한 암호화된 보안 터널을 제공합니다.