Создание решения RAG с помощью поиска ИИ Azure
В этой серии учебников демонстрируется шаблон создания решений RAG в службе "Поиск ИИ Azure". В ней рассматриваются компоненты, встроенные в поиске ИИ Azure, зависимости и оптимизации для максимизации релевантности и минимизации затрат.
Пример данных — это коллекция PDF-файлов, отправленных в служба хранилища Azure. Содержимое из бесплатной электронной книги НАСА.
Пример кода можно найти в этой записной книжке Python, но мы рекомендуем использовать статьи в этой серии для контекста, аналитики и изучения альтернативных подходов.
Упражнения в этой серии
Выбор моделей для внедрения и чата
Проектирование индекса для поиска бесед
Проектирование конвейера индексирования, который загружает, блоки, внедряет и выполняет поиск содержимого.
Получение содержимого, доступного для поиска, с помощью запросов и модели чата
Максимальное значение релевантности
Минимизация затрат на хранение и затраты
Мы опустили несколько аспектов шаблона RAG для снижения сложности:
Нет управления журналом чата и контекстом. Журнал чата обычно хранится и управляется отдельно от данных о заземления, что означает дополнительные шаги и код. В этом руководстве предполагается атомарный вопрос и ответы от LLM и интерфейса LLM по умолчанию.
Не требуется безопасность пользователей по результатам (то, что мы называем "обрезкой безопасности"). Для получения дополнительных сведений и ресурсов начните с обрезки системы безопасности и ознакомьтесь со ссылками в конце статьи.
В этой серии рассматриваются основы разработки решений RAG. Понимая основы, продолжайте использовать акселераторы и другие примеры кода, которые обеспечивают более абстракцию или лучше подходят для рабочих сред и более сложных рабочих нагрузок.
Почему используйте поиск azure AI для RAG?
Модели чата сталкиваются с ограничениями на объем данных, которые они могут принимать по запросу. Вы должны использовать поиск Azure AI, так как качество содержимого, переданного LLM, может сделать или разорвать решение RAG.
Чтобы обеспечить максимально качественные входные данные в модель чата, Поиск ИИ Azure предоставляет лучшую в классе поисковую систему с интеграцией ИИ и комплексной настройкой релевантности. Поиск векторов (несколько алгоритмов), поиск ключевых слов, нечеткий поиск, геопространственный поиск и фильтры. Вы можете создавать гибридные запросы, которые включают все эти компоненты, и вы можете контролировать, сколько каждый запрос вносит в общий запрос.