Como criar uma solução RAG usando a Pesquisa de IA do Azure
Esta série de tutoriais demonstra um padrão para criar soluções RAG na Pesquisa de IA do Azure. Ele abrange os componentes internos da Pesquisa de IA do Azure, dependências e otimizações para maximizar a relevância e minimizar os custos.
Dados de exemplo são uma coleção de PDFs carregados no Armazenamento do Microsoft Azure. O conteúdo é do e-book gratuito NASA's Earth.
O código de exemplo pode ser encontrado neste notebook do Python, mas é recomendável usar os artigos desta série para obter contexto e insights e para explorar abordagens alternativas.
Exercícios nesta série
Escolher seus modelos para inserções e chat
Criar um índice para pesquisa de conversa
Criar um pipeline de indexação que carrega, agrupa, insere e ingere conteúdo pesquisável
Recuperar conteúdo pesquisável usando consultas e um modelo de chat
Maximizar relevância
Minimizar o armazenamento e os custos
Omitimos alguns aspectos de um padrão RAG para reduzir a complexidade:
Nenhum gerenciamento de contexto e histórico de chats. Normalmente, o histórico de chats é armazenado e gerenciado separadamente dos dados de fundamentação, o que significa etapas e códigos adicionais. Este tutorial pressupõe perguntas e respostas atômicas da LLM e da experiência padrão de LLM.
Nenhuma segurança por usuário sobre os resultados (o que chamamos de "filtragem de segurança"). Para obter mais informações e recursos, comece com a filtragem de segurança e examine os links no final do artigo.
Esta série aborda os conceitos básicos do desenvolvimento da solução RAG. Depois de entender os conceitos básicos, vá em frente com aceleradores e outros exemplos de código que fornecem mais abstração ou que sejam mais adequados para ambientes de produção e cargas de trabalho mais complexas.
Por que usar o RAG da Pesquisa de IA do Azure?
Os modelos de chat enfrentam restrições na quantidade de dados que podem aceitar em uma solicitação. É necessário usar a Pesquisa de IA do Azure porque a qualidade do conteúdo passado para um LLM pode criar ou interromper uma solução RAG.
Para fornecer as entradas de alta qualidade para um modelo de chat, a Pesquisa de IA do Azure fornece um mecanismo de pesquisa de melhor classe com integração de IA e ajuste de relevância abrangente. O mecanismo de pesquisa dá suporte à pesquisa de similaridade de vetor (vários algoritmos), pesquisa de palavras-chave, pesquisa difusa, pesquisa geoespacial e filtros. É possível criar solicitações de consulta híbrida que incluem todos esses componentes e controlar o quanto cada consulta contribui para a solicitação geral.