Databricks Foundation 模型 API
本文提供 Azure Databricks 上基礎模型 API 的概觀。 其中包含使用需求、支援的模型和限制。
馬賽克 AI 模型服務 現在支援基礎模型 API,可讓您從服務端點存取和查詢最先進的開放模型。 這些模型是由 Databricks 所裝載,您可以快速且輕鬆地建置使用這些模型的應用程式,而不需要維護自己的模型部署。 基礎模型 API 是 Databricks 指定的服務,這表示它會使用 Databricks Geos 在處理客戶內容時管理數據駐留。
基礎模型 API 會以下列定價模式提供:
- 按令牌付費:這是在 Databricks 上開始存取基礎模型的最簡單方式,建議您使用基礎模型 API 開始旅程。 此模式不是針對高輸送量應用程式或高效能的生產工作負載所設計。
- 預配的吞吐量:建議將此模式用於所有生產環境的工作負載,特別是那些需要高吞吐量、性能保證、精細調整模型或有額外安全需求的工作負載。 配置的吞吐量端點具有 HIPAA 等合規性認證。
如需如何使用這些模式和支援模型的指導,請參閱 Use Foundation Model API。
使用基礎模型 API,您可以執行下列動作
- 查詢一般化 LLM,以在投資更多資源之前,先確認專案的有效性。
- 在投資訓練和部署自訂模型之前,先查詢通用 LLM,以建立基於 LLM 的應用程式的快速概念驗證。
- 使用基礎模型以及向量資料庫,使用擷取增強式產生 (RAG) 來建置聊天機器人。
- 將專屬模型替換為 optimize 的開放替代方案,以獲得更好的成本效益和效能。
- 有效率地比較 LLM 以查看哪一個是使用案例的最佳候選專案,或將生產模型交換為較佳的執行模型。
- 在可擴展、SLA 支援的 LLM 服務解決方案之上,建置用於開發或生產的 LLM 應用程式,以支援生產環境的流量尖峰。
您有多個使用基礎模型 API 的選項。
API 與 OpenAI 相容,因此您可以使用 OpenAI 用戶端進行查詢。 您也可以使用UI、基礎模型 API Python SDK、MLflow 部署 SDK 或 REST API 來查詢支援的模型。 Databricks 建議使用 OpenAI 用戶端 SDK 或 API 進行延伸互動,以及嘗試此功能的 UI。
如需評分範例,請參閱 查詢基礎模型。
您的 Azure Databricks 工作區中可存取預先配置的端點,這些端點提供按使用次數付費的模型。 建議使用這些按令牌付費模型以作為起步。 若要在工作區中存取它們,請瀏覽至左側邊欄中的 服務 標籤。 基礎模型 API 位於端點 list 檢視的頂端。
- 支援每令牌付費模型。
- 如需如何查詢基礎模型 API 的指引,請參閱 查詢基礎模型模型。
- 如需必要的 parameters 和語法,請參閱 基礎模型 REST API 參考。
布建的吞吐量為需要效能保證的基礎生成模型工作負載提供優化的推論。 Databricks 建議為生產工作負載設置的配置輸送量。
- 預配置的吞吐量支持的模型架構。
- 如需有關如何在預配置輸送量模式下部署基礎模型 API 的逐步指南,請參閱 預配置輸送量的基礎模型 API。
配置的輸送量支援包括:
- 各種尺寸的基礎模型。 您可以使用 Databricks Marketplace 存取基底模型,或者您也可以從 Hugging Face 或其他外部來源下載模型,並在 Unity Catalog中註冊。 後者的方法適用於所支援模型的任何微調變體。
- 經過微調的基礎模型變體,例如在專有數據上微調的模型。
- 完全自定義的權重和詞彙分割器,例如從零開始訓練或繼續預訓練,或 使用基礎模型架構 的其他變體(例如 CodeLlama)。
請參閱 基礎模型 API 限制。
使用 ai_query执行批次 LLM 推斷