Unity 카탈로그의 대상 모델로 ML 워크플로 업그레이드

이 문서에서는 Unity 카탈로그에서 모델을 사용하도록 기존 Databricks 워크플로를 마이그레이션하고 업그레이드하는 방법을 설명합니다.

요구 사항

필요한 권한

Unity 카탈로그에서 모델 훈련, 배포 또는 추론 워크플로를 실행하려면 워크플로를 실행하는 주체가 모델을 보유한 카탈로그와 스키마에 대한 USE CATALOG 및 USE SCHEMA 권한을 가지고 있어야 합니다.

다음 권한도 필요합니다.

• 모델을 만들려면 보안 주체에 CREATE MODEL 권한이 있어야 합니다.
• 모델을 로드하거나 배포하려면 보안 주체에 등록된 모델에 대한 EXECUTE 권한이 있어야 합니다.

등록된 모델의 소유자만 다음을 수행할 수 있습니다.

• 새 모델 버전 만들기
• 등록된 모델에 별칭을 설정합니다.

컴퓨팅 요구 사항

워크플로에 지정된 컴퓨팅 리소스는 Unity 카탈로그에 액세스할 수 있어야 합니다. 액세스 모드를 참조하세요.

병렬 학습, 배포 및 유추 워크플로 만들기

모델 학습 및 유추 워크플로를 Unity 카탈로그로 업그레이드하기 위해 Databricks는 Unity 카탈로그에서 모델을 활용하는 병렬 학습, 배포 및 유추 파이프라인을 만드는 증분 접근 방식을 권장합니다. Unity 카탈로그를 사용하여 결과에 익숙해지면 다운스트림 소비자를 전환하여 일괄 처리 유추 출력을 읽거나 엔드포인트를 제공하는 Unity 카탈로그의 모델로 라우팅되는 트래픽을 늘릴 수 있습니다.

모델 학습 워크플로

모델 학습 워크플로를 복제 합니다. 워크플로를 실행하는 보안 주체와 워크플로에 지정된 컴퓨팅이 요구 사항을 충족하는지 확인합니다.

다음으로 복제된 워크플로에서 모델 학습 코드를 수정합니다. 워크플로에서 실행하는 Notebook을 복제하거나 복제된 워크플로에서 새 git 분기를 만들고 대상으로 지정해야 할 수 있습니다. 다음 단계에 따라 필요한 버전의 MLflow를 설치하고 학습 코드에서 Unity 카탈로그를 대상으로 하도록 클라이언트를 구성합니다. 그런 다음 모델 학습 코드를 업데이트하여 Unity 카탈로그에 모델을 등록합니다. Unity 카탈로그 호환 모델 학습 및 등록을 참조하세요.

모델 배포 워크플로

모델 배포 워크플로를 복제 합니다. 워크플로를 실행하는 보안 주체와 워크플로에 지정된 컴퓨팅이 요구 사항을 충족하는지 확인합니다.

배포 워크플로에 모델 유효성 검사 논리가 있는 경우 UC에서 모델 버전을 로드하도록 업데이트합니다. 별칭을 사용하여 프로덕션 모델 롤아웃을 관리합니다.

모델 유추 워크플로

배치 유추 워크플로

일괄 처리 유추 워크플로를 복제 합니다. 워크플로를 실행하는 보안 주체와 워크플로에 지정된 컴퓨팅이 요구 사항을 충족하는지 확인합니다.

모델 서비스 워크플로

Mosaic AI 모델 서비스를 사용하는 경우 기존 엔드포인트를 복제할 필요가 없습니다. 대신 트래픽 분할 기능을 사용하여 Unity 카탈로그의 모델에 대한 트래픽의 작은 부분을 라우팅하기 시작합니다. Unity 카탈로그를 사용하여 결과를 검토할 때 모든 트래픽이 다시 라우팅될 때까지 트래픽 양을 늘입니다.

환경 전반에서 모델 승격

환경 간 모델 승격은 Unity 카탈로그의 모델과 다르게 작동합니다. 자세한 내용은 환경 전반에서 모델 승격을 참조하세요.

모델 배포에 대한 수동 승인을 위해 작업 웹후크 사용

Databricks는 모델 배포 프로세스 중에 적절한 검사 및 테스트를 사용하여 가능한 경우 모델 배포를 자동화하는 것이 좋습니다. 그러나 프로덕션 모델을 배포하기 위해 수동 승인을 수행해야 하는 경우 모델 학습 작업이 성공적으로 완료된 후 작업 알림을 사용하여 외부 CI/CD 시스템에 호출하여 모델 배포에 대한 수동 승인을 요청할 수 있습니다. 수동 승인이 제공된 후 CI/CD 시스템은 모델 버전을 배포하여 트래픽을 처리할 수 있습니다(예: "챔피언" 별칭 설정).