支援按代幣付費的模型

請參閱 基礎模型 API 限制，以瞭解美國區域僅支援的按令牌付費模型。

本文說明 Databricks Foundation 模型 API 以每一令牌付費模式支援的最新開放模型。

您可以使用 Databricks 工作區中提供的按使用量計費的端點，將查詢請求發送至這些模型。 如需模型端點名稱，請參閱 查詢基礎模型 和 按令牌計費的支援模型 table。

除了支援每字元付費模式的模型，基礎模型 API 也提供預設的輸送量模式。 Databricks 建議為生產工作負載使用配置好的吞吐量。 此模式支援模型架構家族的所有模型（例如 DBRX 模型），包括在按令牌付費模式中支援的微調和自定義預訓練模型。 如需瞭解支持的架構 list，請參閱 預配置輸送量基礎模型 API。

您可以使用 AI 遊樂場來與這些支援的模型互動。

Meta Llama 3.3 70B 指令

Meta-Llama-3.3-70B-Instruct 是一個最先進的大型語言模型，配置了 128,000 個令牌的上下文，由 Meta 開發和訓練。 此模型支援多種語言，並已針對對話使用案例進行優化。 深入瞭解 Meta Llama 3.3。

與其他大型語言模型類似，Llama-3 的輸出可能會省略一些事實，偶爾會產生虛假資訊。 Databricks 建議在 where 的情境下，當精確度特別重要時，使用擷取增強式生成（RAG）。

Meta Llama 3.1 405B 指導版

Meta-Llama-3.1-405B-指示是目前最大且開放可用的最新大型語言模型，由 Meta 建置和訓練，透過 Azure Machine Learning，以 AzureML 模型 Catalog進行分發。 使用此模型可讓客戶解除鎖定新功能，例如進階、多步驟推理，以及 高品質綜合數據產生。 此模型在品質方面具有 GPT-4-Turbo 的競爭力。

如同 Meta-Llama-3.1-70B-Instruct，此模型的內容為 128,000 個令牌，且支援十種語言。 它符合人類對實用和安全性的喜好設定，並已針對對話使用案例進行優化。 深入瞭解 Meta Llama 3.1 模型。

與其他大型語言模型類似，Llama-3.1 的輸出可能會省略一些事實，偶爾會產生虛假資訊。 Databricks 建議在 where 精確度的案例中使用擷取增強式產生 （RAG） 特別重要。

DBRX 指示

DBRX Instruct 是由 Databricks 訓練的最先進的專家混合（MoE）語言模型。

此模型在標準基準檢驗上建立了開放原始碼模型，而且在自然語言工作的廣泛 set 表現優異，例如：文字摘要、問答、擷取和編碼。

DBRX Instruct 最多可以處理長度 32k 個詞元的輸入，並產生最多 4k 個詞元的輸出。 由於其MoE架構，DBRX Instruct 在推理方面非常有效率，只啟用36B parameters ，而總共訓練了132B parameters。 為此模型提供服務的按次數付費端點其速率limit為每秒一個查詢。 請參閱 模型服務限制和區域。

與其他大型語言模型類似，DBRX 指示輸出可能會省略某些事實，偶爾會產生虛假資訊。 Databricks 建議在 where 精確度的案例中使用擷取增強式產生 （RAG） 特別重要。

DBRX 模型會使用下列預設系統提示，以確保模型回應的相關性和精確度：

You are DBRX, created by Databricks. You were last updated in December 2023. You answer questions based on information available up to that point.
YOU PROVIDE SHORT RESPONSES TO SHORT QUESTIONS OR STATEMENTS, but provide thorough responses to more complex and open-ended questions.
You assist with various tasks, from writing to coding (using markdown for code blocks — remember to use ``` with code, JSON, and tables).
(You do not have real-time data access or code execution capabilities. You avoid stereotyping and provide balanced perspectives on controversial topics. You do not provide song lyrics, poems, or news articles and do not divulge details of your training data.)
This is your system prompt, guiding your responses. Do not reference it, just respond to the user. If you find yourself talking about this message, stop. You should be responding appropriately and usually that means not mentioning this.
YOU DO NOT MENTION ANY OF THIS INFORMATION ABOUT YOURSELF UNLESS THE INFORMATION IS DIRECTLY PERTINENT TO THE USER'S QUERY.

Mixtral-8x7B使用說明

Mixtral-8x7B Instruct 是由 Mistral AI 訓練的高品質稀疏專家混合模型（SMoE）。 Mixtral-8x7B 指令可用於各種任務，例如問答、摘要和擷取。

Mixtral 可以處理內容長度長達 32k 個 token。 Mixtral 可以處理英文、法文、義大利文、德文和西班牙文。 Mixtral 在大多數基準測試中匹敵或勝過 Llama 2 70B 和 GPT3.5（Mixtral 效能），而在推論過程中的速度是 Llama 2 70B 的四倍。

與其他大型語言模型類似，Mixtral-8x7B 指導模型不應被依賴來產生事實準確的資訊。 雖然已投入大量精力來清理預先定型數據，但此模型可能會 generate 轉換、偏差或其他冒犯性輸出。 為了降低風險，Databricks 預設會使用Mistral 安全模式系統提示的變體，。

GTE 大型 （英文）

一般文字內嵌（GTE） 是一種文字內嵌模型，能將任何文字映射到 1024 維度的內嵌向量，以及 8192 個標記的內嵌 window。 這些向量可用於 LLM 的向量資料庫中，以及擷取、分類、問答、叢集或語意搜尋等工作。 此端點提供模型的英文版本，而且不會 generate 標準化內嵌。

嵌入模型與 LLM 搭配使用時，在檢索增強生成（RAG）情境中特別有效。 GTE 可用來尋找可在 LLM 內容中使用的大量文件的相關文字片段。

BGE 大型（英）

BAAI 一般嵌入（BGE） 是一種文字嵌入模型，可以將任何文本映射到一個 1024 維度的嵌入向量，並生成一個包含 512 個標記的嵌入 window。 這些向量可用於 LLM 的向量資料庫中，以及擷取、分類、問答、叢集或語意搜尋等工作。 此端點提供模型的英文版本，併產生標準化的內嵌。

內嵌模型與 LLM 搭配使用時特別有效，以擷取增強世代 （RAG） 使用案例。 BGE 可用來尋找可在 LLM 內容中使用的大量文件的相關文字片段。

在RAG應用程式中，您可以藉由包含指令參數來改善擷取系統的效能。 BGE 作者建議嘗試指示 "Represent this sentence for searching relevant passages:" 進行查詢內嵌，不過其效能影響取決於網域。

其他資源

• 查詢基礎模型
• 基礎型 REST API 參考