Что такое поиск в Azure AI?

Поиск ИИ Azure (ранее известный как "Когнитивный поиск Azure") — это система получения информации, готовой для предприятия, для разнородного содержимого, которое вы используете в индекс поиска, а также для пользователей с помощью запросов и приложений. Он поставляется с комплексным набором передовых технологий поиска, созданных для высокопроизводительных приложений в любом масштабе.

Поиск ИИ Azure — это рекомендуемая система извлечения для создания приложений на основе RAG в Azure, с собственными интеграции LLM между Службой Azure OpenAI и Машинное обучение Azure, механизмом интеграции для неродных моделей и процессов, а также несколькими стратегиями настройки релевантности.

Поиск ИИ Azure можно использовать как в традиционных, так и в сценариях поиска GenAI. Распространенные варианты использования: каталог или поиск документов, обнаружение сведений (исследование данных) и расширенное поколение (RAG) для поиска бесед.

При создании службы поиска вы работаете со следующими возможностями:

• Поисковая система для векторного поиска и полнотекстового и гибридного поиска по индексу поиска.
• Расширенное индексирование с возможностью преобразования содержимого. К ним относятся интегрированные блоки данных и векторизация для RAG, лексический анализ текста и необязательный применение ИИ для извлечения и обогащения содержимого.
• Форматированный синтаксис запросов для векторных запросов, текстовый поиск, гибридные запросы, нечеткий поиск, автозавершение, геоизбыточное и другое.
• Настройка релевантности и производительности запросов с помощью семантического ранжирования, профилей оценки, квантизации для векторных запросов и параметров для управления поведением запросов во время выполнения.
• Масштабирование, безопасность и охват Azure.
• Интеграция Azure на уровне данных, уровне машинного обучения, службах ИИ Azure и Azure OpenAI.

С точки зрения архитектуры служба поиска находится между внешними хранилищами данных, которые содержат неиндексированные данные, и вашим клиентским приложением, которое отправляет запросы к индексу поиска и обрабатывает ответ.

В клиентском приложении интерфейс поиска определяется с помощью API из поиска ИИ Azure и может включать настройку релевантности, семантический ранжирование, автозавершение, сопоставление синонимов, сопоставление нечетких шаблонов, фильтрацию и сортировку.

На платформе Azure поиск ИИ Azure может интегрироваться с другими службами Azure в виде индексаторов, которые автоматизируют прием и извлечение данных из источников данных Azure, а также наборы навыков, которые включают потребляемый ИИ из служб ИИ Azure, таких как обработка изображений и естественного языка, или настраиваемый ИИ, создаваемый в Машинное обучение Azure или оболочку внутри Функции Azure.

Внутри службы поиска

В самой службе поиска находятся две основные рабочие нагрузки: индексирование и запросы.

• Индексирование — это процесс приема, который загружает содержимое в службу поиска и делает его доступным для поиска. Внутри системы входящий текст обрабатывается в маркеры и хранится в инвертированных индексах, а входящий векторы хранятся в векторных индексах. Формат документа, который может индексировать поиск ИИ Azure, — JSON. Вы можете отправить собранные документы JSON или использовать индексатор для извлечения и сериализации данных в JSON.

  Примененный искусственный интеллект с помощью набора навыков расширяет индексирование с помощью моделей изображений и языков. Если у вас есть изображения или большой неструктурированный текст в исходном документе, вы можете присоединить навыки, которые выполняют OCR, анализ и описание изображений, структуру вывода, перевод текста и многое другое. Выходные данные — это текст, который можно сериализовать в JSON и получить в индекс поиска.

  Наборы навыков также могут выполнять блоки данных и векторизацию во время индексирования. Навыки, которые присоединяются к Azure OpenAI, каталогу моделей на портале Azure AI Foundry или пользовательским навыкам, которые присоединяются к любой внешней модели блокирования и внедрения, можно использовать во время индексирования для создания векторных данных. Выходные данные — это фрагментированные векторные содержимое, которое может быть приемлено в индекс поиска.

• Запросы могут произойти после заполнения индекса с помощью поиска содержимого, когда клиентское приложение отправляет запросы в службу поиска и обрабатывает ответы. Все выполнение запроса выполняется по индексу поиска, который вы управляете.

  Семантический ранжирование — это расширение выполнения запроса. Он добавляет вторичный рейтинг, используя распознавание речи для повторного вычисления результирующей группы, повышая наиболее семантически релевантные результаты в верхней части.

  Встроенная векторизация также является расширением выполнения запросов. Если в индексе поиска есть векторные поля, можно отправить необработанные векторные запросы или текст, векторизированный во время запроса.

Почему используйте поиск по искусственному интеллекту Azure?

Поиск по искусственному интеллекту Azure хорошо подходит для следующих сценариев приложения:

• Используйте его для традиционного полнотекстового поиска и векторного поиска следующего поколения. Верните созданные приложения ИИ с помощью получения информации, которая использует сильные стороны поиска ключевых слов и сходства. Используйте оба модальности, чтобы получить наиболее релевантные результаты.

• Консолидируйте разнородное содержимое в определяемый пользователем и заполненный индекс поиска, состоящий из векторов и текста. Вы поддерживаете владение и контроль над тем, что можно найти.

• Интегрируйте блоки данных и векторизацию для создания приложений ИИ и RAG.

• Применение детализированного управления доступом на уровне документа.

• Разгрузка рабочих нагрузок индексирования и запросов на выделенную службу поиска.

• Удобная реализация функций поиска, таких как настройка релевантности, фасетная навигация, фильтры (включая геопространственный поиск), сопоставление синонимов и автозавершение.

• Преобразуйте большие неифференцированные текстовые файлы или файлы изображений или файлы приложений, хранящиеся в Хранилище BLOB-объектов Azure или Azure Cosmos DB, в блоки, доступные для поиска. Это достигается во время индексирования с помощью навыков искусственного интеллекта, которые добавляют внешнюю обработку из ИИ Azure.

• Добавление лингвистического или пользовательского анализа текста. Если у вас есть содержимое, отличное от английского языка, служба "Поиск ИИ Azure" поддерживает анализаторы Lucene и процессоры естественного языка Майкрософт. Можно также настроить анализаторы для выполнения специализированной обработки необработанного содержимого, например для фильтрации диакритических знаков или распознавания и сохранения шаблонов в строках.

Дополнительные сведения о конкретных функциях см. в разделе "Функции поиска ИИ Azure"

Как приступить к работе

Функциональные возможности предоставляются с помощью портал Azure, простых REST API или пакетов SDK Azure, таких как пакет SDK Azure для .NET. Портал Azure поддерживает администрирование служб и управление содержимым с инструментами для создания прототипов и запроса индексов и наборов навыков.

Использование портала Azure

Комплексное изучение основных функций поиска можно выполнить в четырех шагах:

1. Определите уровень и регион. Одна бесплатная служба поиска разрешена для каждой подписки. Все краткие руководства можно выполнить на бесплатном уровне. Для получения дополнительных возможностей и возможностей вам потребуется оплачиваемый уровень.

2. Создайте службу поиска в портал Azure.

3. Начните с мастера импорта данных. Выберите встроенный пример или поддерживаемый источник данных для создания, загрузки и запроса индекса в минутах.

4. Завершите работу с обозревателем поиска, используя клиент портала для запроса только что созданного индекса поиска.

Использование API

Кроме того, можно создать, загрузить и запросить индекс поиска в атомарных шагах:

1. Создайте индекс поиска с помощью портал Azure, REST API, пакета SDK для .NET или другого пакета SDK. Схема индекса определяет структуру содержимого, доступного для поиска.

2. Отправьте содержимое с помощью модели push-отправки документов JSON из любого источника или используйте модель извлечения (индексаторы), если исходные данные являются поддерживаемыми типами.

3. Запросите индекс с помощью обозревателя поиска в портал Azure, REST API, пакета SDK для .NET или другого пакета SDK.

Использование акселераторов

Кроме того, попробуйте использовать акселераторы решений:

• Чат с акселератором решения для обработки данных помогает создать пользовательское решение RAG по содержимому.

• Акселератор решений интеллектуального анализа знаний бесед помогает создать интерактивное решение для извлечения полезных аналитических сведений из расшифровок после контакта.

• Акселератор интеллектуального анализа знаний документов помогает обрабатывать и извлекать сводки, сущности и метаданные из неструктурированных многомодальных документов.

• Создайте собственный акселератор решений copilot, использует Службу OpenAI Azure, поиск ИИ Azure и Microsoft Fabric для создания пользовательских решений copilot.

  • Универсальный copilot помогает создавать собственный copilot для идентификации соответствующих документов, суммирования неструктурированных сведений и создания шаблонов документов Word с помощью собственных данных.

  • Помощник по клиентам с одним пользовательским copilot позволяет помощнику по клиентам использовать возможности генерированного ИИ как в структурированных, так и неструктурированных данных. Помогите нашим клиентам оптимизировать ежедневные задачи и повысить эффективность взаимодействия с большим числом клиентов

  • Помощник по исследованиям помогает создать собственный помощник по искусственному интеллекту, чтобы определить соответствующие документы, суммировать и классифицировать огромные объемы неструктурированной информации, а также ускорить общее создание документов и создания содержимого.

Сравнение параметров поиска

Клиенты часто спрашивают, как поиск ИИ Azure сравнивается с другими решениями, связанными с поиском. В следующей таблице представлены основные отличия.

Ниже перечислены ключевые преимущества.

• Поддержка индексирования и запросов вектора и невектора (текста). С помощью поиска сходства векторов можно найти сведения, которые семантические похожи на поисковые запросы, даже если условия поиска не являются точными совпадениями. Используйте гибридный поиск, чтобы объединить сильные стороны ключевого слова и векторного поиска.
• Настройка ранжирования и релевантности с помощью профилей семантического ранжирования и оценки. Вы также можете использовать синтаксис запросов, поддерживающий повышение терминов и приоритет полей.
• Интеграция данных Azure (обходчики) на уровне индексирования.
• Интеграция СИ Azure для преобразований, которые делают текст содержимого и векторным поиском.
• Безопасность Microsoft Entra для доверенных подключений и Приватный канал Azure для частных подключений в сценариях без Интернета.
• Полный интерфейс поиска: лингвистическое и пользовательское анализ текста на 56 языках. Аспекты, запросы автозаполнения и предлагаемые результаты и синонимы.
• Масштаб, надежность и глобальный охват Azure.