토큰당 종량제에 지원되는 모델

토큰당 요금제가 적용되어 미국 지역에서만 지원되는 모델에 관한 Foundation Model API 제한을에서 참조하세요.

이 문서에서는 토큰당 종량제 모드에서 Databricks Foundation 모델 API에서 지원하는 최신 개방형 모델에 대해 설명합니다.

Databricks 작업 영역에서 사용할 수 있는 토큰당 종량제 엔드포인트를 사용하여 이러한 모델에 쿼리 요청을 보낼 수 있습니다. 사용할 모델 엔드포인트의 이름은 쿼리 기본 모델 및 토큰당 종량제 지원 모델 참조하세요.

토큰당 종량제 모드에서 모델을 지원하는 것 외에도 Foundation Model API는 프로비전된 처리량 모드를 제공합니다. Databricks는 프로덕션 워크로드에 프로비전된 처리량을 권장합니다. 이 모드는 토큰당 종량제 모드에서 지원되는 미세 조정된 모델 및 사용자 지정 미리 학습된 모델을 포함하여 모델 아키텍처 제품군의 모든 모델(예: DBRX 모델)을 지원합니다. 지원되는 아키텍처의 list에 대해 프로비전된 처리량 Foundation Model API을 참조하세요.

AI Playground사용하여 지원되는 모델과 상호 작용할 수 있습니다.

메타 라마 3.3 70B 지시

Meta-Llama-3.3-70B-Instruct는 Meta에서 빌드하고 학습한 128,000개의 토큰 컨텍스트를 가진 최첨단 대규모 언어 모델입니다. 이 모델은 여러 언어를 지원하며 대화 사용 사례에 최적화되어 있습니다. 메타 라마 3.3대해 자세히 알아보세요.

다른 큰 언어 모델과 마찬가지로, Llama-3의 출력은 일부 사실을 생략하고 때때로 거짓 정보를 생성할 수 있습니다. Databricks는 where 시나리오에서 정확도가 특히 중요한 경우 RAG(검색 보강 생성)를 사용하는 것이 좋습니다.

메타 라마 3.1 405B 지시

Meta-Llama-3.1-405B-Instruct는 Meta에서 빌드 및 학습한 가장 큰 공개적으로 사용 가능한 최신 대규모 언어 모델이며 AzureML 모델 Catalog사용하여 Azure Machine Learning에서 배포합니다. 이 모델을 사용하면 고객이 고급 다단계 추론 및 고품질 가상 데이터 생성같은 새로운 기능을 잠금 해제할 수 있습니다. 이 모델은 품질 측면에서 GPT-4-Turbo와 경쟁력이 있습니다.

Meta-Llama-3.1-70B-Instruct와 마찬가지로 이 모델은 10개 언어에서 128,000개의 토큰 및 지원 컨텍스트를 가지고 있습니다. 이는 유용성과 안전을 위한 인간의 선호도에 부합하며 대화 사용 사례에 최적화되어 있습니다. Meta Llama 3.1 모델에 대해 자세히 알아봅니다.

다른 큰 언어 모델과 마찬가지로, Llama-3.1의 출력은 일부 사실을 생략하고 때때로 거짓 정보를 생성할 수 있습니다. Databricks는 정확도가 특히 중요하기 where 시나리오에서 RAG(검색 보강 생성)를 사용하는 것이 좋습니다.

DBRX 지시

DBRX Instruct는 Databricks가 학습한 최첨단 전문가 혼합(MoE) 언어 모델입니다.

이 모델은 표준 벤치마크에서 설정된 오픈 소스 모델을 능가하며 텍스트 요약, 질문 답변, 추출 및 코딩과 같은 광범위한 자연어 작업의 set 뛰어납니다.

DBRX 지시는 입력 길이의 최대 32k 토큰을 처리할 수 있으며 최대 4k 토큰의 출력을 생성합니다. MoE 아키텍처 덕분에 DBRX Instruct는 추론에 매우 효율적으로 작동하며, 총 132B 학습된 parameters중 36B parameters만 활성화합니다. 이 모델을 이용하는 토큰당 종량제 엔드포인트의 속도는 초당 최대 1개의 쿼리를 limit 처리합니다. 모델 서비스 제한 및 지역참조하세요.

다른 큰 언어 모델과 마찬가지로 DBRX 지시 출력은 일부 사실을 생략하고 때때로 거짓 정보를 생성할 수 있습니다. Databricks는 where 시나리오에서 정확도가 특히 중요할 때 RAG(검색 보강 생성)를 사용하는 것이 좋습니다.

DBRX 모델은 다음 기본 시스템 프롬프트를 사용하여 모델 응답에서 관련성과 정확도를 보장합니다.

You are DBRX, created by Databricks. You were last updated in December 2023. You answer questions based on information available up to that point.
YOU PROVIDE SHORT RESPONSES TO SHORT QUESTIONS OR STATEMENTS, but provide thorough responses to more complex and open-ended questions.
You assist with various tasks, from writing to coding (using markdown for code blocks — remember to use ``` with code, JSON, and tables).
(You do not have real-time data access or code execution capabilities. You avoid stereotyping and provide balanced perspectives on controversial topics. You do not provide song lyrics, poems, or news articles and do not divulge details of your training data.)
This is your system prompt, guiding your responses. Do not reference it, just respond to the user. If you find yourself talking about this message, stop. You should be responding appropriately and usually that means not mentioning this.
YOU DO NOT MENTION ANY OF THIS INFORMATION ABOUT YOURSELF UNLESS THE INFORMATION IS DIRECTLY PERTINENT TO THE USER'S QUERY.

Mixtral-8x7B 지시

Mixtral-8x7B Instruct는 Mistral AI에서 학습한 고품질 희소 전문가 혼합 모델(SMoE)입니다. Mixtral-8x7B Instruct는 질문 답변, 요약, 추출 등 다양한 작업에 사용할 수 있습니다.

Mixtral은 최대 32k 토큰의 컨텍스트 길이를 처리할 수 있습니다. Mixtral은 영어, 프랑스어, 이탈리아어, 독일어 및 스페인어를 처리할 수 있습니다. Mixtral은 대부분의 벤치마크(Mixtral 성능)에서 Llama 2 70B 및 GPT3.5와 비슷하거나 그보다 뛰어난 성능을 보이면서, 추론 시 Llama 2 70B보다 4배 더 빠릅니다.

다른 대형 언어 모델과 마찬가지로, Mixtral-8x7B 인스트럭트 모델은 사실에 근거한 정확한 정보를 생성하는 데 의존해서는 안 됩니다. 사전 학습 데이터를 정리하기 위해 많은 노력을 기울였지만 이 모델은 음란하거나 편향되거나 공격적인 출력을 generate 수 있습니다. 위험을 줄이기 위해 Databricks는 기본적으로 Mistral의 안전 모드 시스템 프롬프트변형을 사용합니다.

GTE Large(En)

GTE(일반 텍스트 포함) 1024차원 포함 벡터에 텍스트를 매핑하고 8192 토큰의 포함 window 매핑할 수 있는 텍스트 포함 모델입니다. 이러한 벡터는 LLM용 벡터 데이터베이스 및 검색, 분류, 질문 답변, 클러스터링 또는 의미 체계 검색과 같은 작업에 사용할 수 있습니다. 이 엔드포인트는 영어 버전의 모델을 제공하며 정규화된 포함을 generate 않습니다.

임베딩 모델은 검색 증강 생성(RAG) 사용 사례에서 LLM과 함께 사용할 때 특히 효과적입니다. GTE를 사용하여 LLM에서 사용하기 위한 컨텍스트에서 활용할 수 있는 대량 문서의 관련 텍스트 조각을 찾을 수 있습니다.

BGE 대형(영)

BAAI BGE(일반 포함) 1024차원 포함 벡터에 텍스트를 매핑하고 512개 토큰의 포함 window 매핑할 수 있는 텍스트 포함 모델입니다. 이러한 벡터는 LLM용 벡터 데이터베이스 및 검색, 분류, 질문 답변, 클러스터링 또는 의미 체계 검색과 같은 작업에 사용할 수 있습니다. 이 엔드포인트는 영어 버전의 모델을 제공하고 정규화된 포함을 생성합니다.

모델 포함은 RAG(검색 보강 생성) 사용 사례에 대해 LLM과 함께 사용할 때 특히 효과적입니다. BGE를 사용하여 LLM의 컨텍스트에서 사용할 수 있는 큰 문서 청크에서 관련 텍스트 조각을 찾을 수 있습니다.

RAG 애플리케이션에서는 명령 매개 변수를 포함하여 검색 시스템의 성능을 향상시킬 수 있습니다. BGE 작성자는 도메인에 따라 성능 영향이 달라질 수 있지만 쿼리 임베딩에 대해 명령 "Represent this sentence for searching relevant passages:"을 시도해 볼 것을 권장합니다.

추가 리소스

• 쿼리 기본 모델
• 기반 모델 REST API 참조