엔드포인트를 제공하는 모델에서 AI 게이트웨이 구성

이 문서에서는 엔드포인트를 제공하는 모델에서 Mosaic AI Gateway를 구성하는 방법에 대해 알아봅니다.

요구 사항

• 지원되는 외부 모델의 Databricks 작업 영역입니다.
• 엔드포인트를 제공하는 외부 모델 만들기의 1단계와 2단계를 완료합니다.

UI를 사용하여 AI 게이트웨이 구성

이 섹션에서는 서비스 UI를 사용하여 엔드포인트를 만드는 동안 AI 게이트웨이를 구성하는 방법을 보여 줍니다.

프로그래밍 방식으로 이 작업을 수행하려면 Notebook 예제를 참조하세요.

엔드포인트 만들기 페이지의 AI 게이트웨이 섹션에서 다음 AI 게이트웨이 기능을 개별적으로 구성할 수 있습니다.

UI에서 AI 가드레일 구성을 참조하세요

다음 표에서는 지원되는 가드레일을 구성하는 방법을 보여 줍니다.

사용량 추적 테이블 스키마

system.serving.served_entities 사용량 추적 시스템 테이블에는 다음 스키마가 있습니다.

system.serving.endpoint_usage 사용량 추적 시스템 테이블에는 다음 스키마가 있습니다.

usage_context를 사용하여 사용량 정의

사용량 추적을 사용하도록 설정된 외부 모델을 쿼리할 때 usage_context 매개 변수에 Map[String, String] 형식을 제공할 수 있습니다. 사용 현황 컨텍스트 매핑은 usage_context 열의 사용량 추적 테이블에 표시됩니다. 지도 크기는 usage_context 10KiB를 초과할 수 없습니다.

계정 관리자는 사용 컨텍스트에 따라 다른 행을 집계하여 인사이트를 얻을 수 있으며 이 정보를 페이로드 로깅 테이블의 정보와 조인할 수 있습니다. 예를 들어 최종 사용자의 비용 특성 추적을 위해 end_user_to_charge을 usage_context에 추가할 수 있습니다.

{
  "messages": [
    {
      "role": "user",
      "content": "What is Databricks?"
    }
  ],
  "max_tokens": 128,
  "usage_context":
    {
      "use_case": "external",
      "project": "project1",
      "priority": "high",
      "end_user_to_charge": "abcde12345",
      "a_b_test_group": "group_a"
    }
}

AI 게이트웨이 사용 유추 테이블 스키마

AI Gateway를 사용하여 사용하도록 설정된 유추 테이블에는 다음 스키마가 있습니다.

엔드포인트에서 AI 게이트웨이 기능 업데이트

이전에 사용하도록 설정한 엔드포인트와 사용하지 않은 엔드포인트를 제공하는 모델에서 AI 게이트웨이 기능을 업데이트할 수 있습니다. AI 게이트웨이 구성에 대한 업데이트는 적용하는 데 약 20-40초가 걸리지만 속도 제한 업데이트에는 최대 60초가 걸릴 수 있습니다.

다음은 서비스 UI를 사용하여 엔드포인트를 제공하는 모델의 AI 게이트웨이 기능을 업데이트하는 방법을 보여 줍니다.

엔드포인트 페이지의 게이트웨이 섹션에서 사용하도록 설정된 기능을 확인할 수 있습니다. 이러한 기능을 업데이트하려면 AI 게이트웨이편집을 클릭합니다.

Notebook 예제

다음 Notebook에서는 프로그래밍 방식으로 Databricks Mosaic AI Gateway 기능을 사용하도록 설정하고 사용하여 공급자의 모델을 관리하고 관리하는 방법을 보여 줍니다. REST API 세부 정보는 다음을 참조하세요.

• PUT /api/2.0/serving-endpoints/{name}/ai-gateway

Databricks Mosaic AI Gateway 기능 Notebook 사용

Notebook 가져오기

추가 리소스

• Mosaic AI 게이트웨이.
• 모델 모니터링 및 디버깅을 위한 유추 테이.