API модели Databricks Foundation
В этой статье представлен обзор API-интерфейсов модели Foundation в Azure Databricks. Он включает требования к использованию, поддерживаемым моделям и ограничениям.
Что такое API модели Databricks Foundation?
мозаичная модель ИИ, обслуживающая теперь поддерживает API модели Foundation, которые позволяют получать доступ к открытым моделям и запрашивать их из конечной точки обслуживания. Эти модели размещаются на платформе Databricks, и вы можете быстро и легко создавать приложения, которые их используют, без необходимости поддерживать собственное развертывание модели. API-интерфейсы модели Foundation — это назначенная служба Databricks, что означает, что при обработке содержимого клиента используется Databricks Geos для управления размещением данных.
API-интерфейсы модели foundation предоставляются в следующих режимах ценообразования:
- Pay-per-token: это самый простой способ начать использовать фундаментальные модели на платформе Databricks и рекомендуется для начала работы с API-интерфейсами фундаментальных моделей. Этот режим не предназначен для приложений с высокой пропускной способностью или производственных рабочих нагрузок.
- Подготовленная пропускная способность: этот режим рекомендуется для всех рабочих нагрузок, особенно для рабочих нагрузок, требующих высокой пропускной способности, гарантий производительности, точно настроенных моделей или наличия дополнительных требований к безопасности. Подготовленные конечные точки пропускной способности доступны с сертификатами соответствия, такими как HIPAA.
Сведения об использовании этих режимов и поддерживаемых моделей см. в
Используя API-интерфейсы модели Foundation, можно выполнить следующие действия.
- Запрос обобщенного LLM для проверки действительности проекта перед вложением дополнительных ресурсов.
- Запрос обобщенного LLM для создания быстрого подтверждения концепции для приложения на основе LLM перед вложением в обучение и развертывание пользовательской модели.
- Используйте основополагающую модель и векторную базу данных для создания чат-бота с помощью генерации, дополненной поиском (RAG).
- Замените собственные модели открытыми альтернативами optimize для затрат и производительности.
- Эффективно сравнивайте модели LLM, чтобы определить, какая из них является лучшим кандидатом для вашего использования, или замените существующую модель на более производительную.
- Создайте приложение LLM для разработки или в производственной среде поверх масштабируемого решения с поддержкой SLA для обслуживания LLM, которое может справляться с пиками трафика.
Требования
- Маркер API Databricks для аутентификации запросов конечных точек.
- Бессерверные вычисления (для подготовленных моделей пропускной способности).
- Рабочая область в одном из следующих поддерживаемых регионов:
использовать API модели Foundation
Существует несколько вариантов использования API-интерфейсов модели Foundation.
API совместимы с OpenAI, поэтому для запроса можно использовать клиент OpenAI. Вы также можете использовать пользовательский интерфейс, пакет SDK для работы с базовыми моделями на Python, пакет SDK для развертываний MLflow или REST API для запроса поддерживаемых моделей. Databricks рекомендует использовать клиентский пакет SDK OpenAI или API для расширенных взаимодействий и пользовательского интерфейса для пробной версии функции.
См. примеры оценки в разделе базовых моделей запросов.
API-интерфейсы модели Foundation с оплатой за токен
Предварительно настроенные конечные точки, обслуживающие модели с оплатой за токен, доступны в рабочей области Azure Databricks. Для начала работы рекомендуется использовать эти модели оплаты за токены. Чтобы получить доступ к ним в рабочей области, перейдите на вкладку обслуживание на левой боковой панели. API-интерфейсы Foundation Model расположены в верхней части представления конечных точек list.
- поддерживаемые модели оплаты за токены.
- Смотрите Запросы к API моделей на основе Foundation, чтобы получить рекомендации о том, как запрашивать API таких моделей.
- Дополнительные сведения о
и синтаксисе см. в справочнике по REST API модели Foundation.
API основной модели предоставленной пропускной способности
Подготовленная пропускная способность предоставляет конечные точки с оптимизированным выводом для рабочих нагрузок базовой модели, требующих гарантий производительности. Databricks рекомендует выделенную пропускную способность для рабочих нагрузок.
- поддерживаемые архитектуры моделей с заданной пропускной способностью.
- Шаги по развертыванию API модели Foundation в режиме с выделенной пропускной способностью смотрите в разделе API Модели Foundation для режима с выделенной пропускной способностью.
Поддержка выделенной пропускной способности включает:
- Базовые модели всех размеров. К базовым моделям можно получить доступ с помощью Databricks Marketplace или скачать их из Hugging Face или другого внешнего источника и зарегистрировать их в CatalogUnity. Последний подход работает с любым точно настроенным вариантом поддерживаемых моделей.
- точно настроенные варианты базовых моделей, например модели, которые настраиваются на основе собственных данных.
- полностью настраиваемые весы и токенизаторы, например обученные с нуля или продолжающиеся предварительно обученные или другие варианты с использованием архитектуры базовой модели (например, CodeLlama).
Ограничения
См. ограничения API модели Foundation .