모자이크 AI 게이트웨이
Important
이 기능은 공개 미리 보기 상태입니다.
이 문서에서는 지원되는 생성 AI 모델 및 엔드포인트를 제공하는 관련 모델에 대한 액세스를 제어하고 모니터링하기 위한 Databricks 솔루션인 Mosaic AI Gateway에 대해 설명합니다.
모자이크 AI 게이트웨이란?
Mosaic AI Gateway는 조직 내에서 생성 AI 모델의 사용 및 관리를 간소화하도록 설계되었습니다. 관리, 모니터링 및 프로덕션 준비 상태를 엔드포인트에 제공하는 모델을 제공하는 중앙 집중식 서비스입니다. 또한 AI 트래픽을 실행하고, 보호하고, 제어하여 조직의 AI 채택을 민주화하고 가속화할 수 있습니다.
모든 데이터는 Unity 카탈로그의 델타 테이블에 로그인됩니다.
AI 게이트웨이 데이터에서 인사이트 시각화를 시작하려면 GitHub에서 예제 AI 게이트웨이 대시보드를 다운로드합니다. 이 대시보드는 사용량 추적 및 페이로드 로깅 유추 테이블의 데이터를 활용합니다.
JSON 파일을 다운로드한 후 대시보드를 작업 영역으로 가져옵니다. 대시보드 가져오기에 대한 지침은 대시보드 파일 가져오기를 참조하세요.
AI 게이트웨이는 다음 기능을 지원합니다.
- 권한 및 트래픽률 제한을 통해 액세스 권한을 가진 사용자와 액세스 범위를 제어합니다.
- 유추 테이블을 사용하여 모델 API로 전송되는 데이터를 모니터링하고 감사하기 위한 페이로드 로깅입니다.
- 시스템 테이블을 사용하여 엔드포인트 및 관련 비용의 작동 사용량을 모니터링하는 사용 현황 추적
- AI 가드레일을 통해 요청 및 응답에서 원치 않는 데이터 및 안전하지 않은 데이터를 차단합니다.
- 트래픽 라우팅을 통해 배포 도중 및 배포 후 프로덕션 중단을 최소화합니다.
Mosaic AI Gateway는 사용 가능한 기능 기준으로 요금이 부과됩니다. 미리 보기 중에 이러한 유료 기능에는 AI Guardrails, 페이로드 로깅 및 사용량 추적이 포함됩니다. 쿼리 권한, 속도 제한 및 트래픽 라우팅과 같은 기능은 무료로 제공됩니다. 모든 새로운 기능에는 요금이 부과됩니다.
다음 표에서는 유료 AI 게이트웨이 기능에 대한 M(백만) 토큰당 DBricks 단위(DPU)를 반영합니다. 요금은 SKU 아래에 Serverless Real-time Inference 나열됩니다.
| 기능 | DBU 속도 |
|---|---|
| AI 가드레일 | M 토큰당 21.429 DPU |
| 페이로드 로깅 | M 토큰당 2.857 DPU |
| 사용 추적 | M 토큰당 0.571 DPU |
AI 가드레일
AI Guardrails를 사용하면 사용자가 엔드포인트 수준을 제공하는 모델에서 데이터 규정 준수를 구성하고 적용하고 기본 모델로 전송된 모든 요청에서 유해한 콘텐츠를 줄일 수 있습니다. 잘못된 요청 및 응답이 차단되고 기본 메시지가 사용자에게 반환됩니다. 엔드포인트를 제공하는 모델에서 가드레일을 구성하는 방법을 참조 하세요.
Important
AI Guardrails는 토큰당 종량제 파운데이션 모델 API를 지원하는 지역에서만 사용할 수 있습니다.
다음 표에서는 구성 가능한 가드레일을 요약합니다.
| 가드레일 | 정의 |
|---|---|
| 안전 필터링 | 안전 필터링은 모델이 폭력 범죄, 자해 및 증오 발언과 같은 안전하지 않고 유해한 콘텐츠와 상호 작용하는 것을 방지합니다. AI 게이트웨이 안전 필터는 Meta Llama 3을 사용하여 빌드됩니다. Databricks는 안전 필터로 라마 가드 2-8b를 사용합니다. Llama Guard 안전 필터 및 안전 필터에 적용되는 항목에 대한 자세한 내용은 Meta Llama Guard 2 8B 모델 카드를 참조 하세요. Meta Llama 3는 LLAMA 3 커뮤니티 라이선스, Copyright © Meta Platforms, Inc.에 따라 라이선스가 부여됩니다. All Rights Reserved. 고객은 해당 모델 라이선스를 준수할 책임이 있습니다. |
| PII(개인 식별 정보) 검색 | 고객은 사용자의 이름, 주소, 신용 카드 번호와 같은 중요한 정보를 검색할 수 있습니다. 이 기능의 경우 AI 게이트웨이는 Presidio를 사용하여 신용 카드 번호, 이메일 주소, 전화 번호, 은행 계좌 번호 및 사회 보장 번호와 같은 미국 PII 범주를 검색합니다. PII 분류자는 구조적 및 비정형 데이터에서 중요한 정보 또는 PII를 식별하는 데 도움이 될 수 있습니다. 그러나 자동화된 검색 메커니즘을 사용하므로 서비스에서 모든 중요한 정보를 찾을 수 있다는 보장은 없습니다. 따라서 추가 시스템과 보호를 사용해야 합니다. 이러한 분류 방법은 주로 미국 전화 번호 및 사회 보장 번호와 같은 PII의 미국 범주로 범위가 지정됩니다. |
| 토픽 조정 | 허용되는 항목 집합을 나열하는 기능입니다. 채팅 요청이 제공되면 이 가드레일은 해당 토픽이 허용된 항목에 없는 경우 요청에 플래그를 지정합니다. |
| 키워드 필터링 | 고객은 입력 및 출력 모두에 대해 서로 다른 잘못된 키워드 집합을 지정할 수 있습니다. 키워드 필터링에 대한 잠재적인 사용 사례 중 하나는 모델이 경쟁 업체에 대해 이야기하지 않도록 하는 것입니다. 이 가드레일은 키워드 또는 문자열 일치를 사용하여 키워드가 요청 또는 응답 콘텐츠에 있는지 여부를 결정합니다. |
AI 게이트웨이 사용
서비스 UI를 사용하여 엔드포인트를 제공하는 모델에서 AI 게이트웨이 기능을 구성할 수 있습니다. 엔드포인트를 제공하는 모델에서 AI 게이트웨이 구성을 참조하세요.
제한 사항
미리 보기 중에는 다음과 같은 제한 사항이 있습니다.
- AI 게이트웨이는 외부 모델을 제공하는 엔드포인트를 제공하는 모델에 대해서만 지원됩니다.
- 가드레일을 사용하는 경우 포함 일괄 처리 크기, 완료 일괄 처리 크기 또는
n채팅 요청의 매개 변수인 요청 일괄 처리 크기는 16을 초과할 수 없습니다.