Como criar uma solução RAG usando o Azure AI Search
Esta série de tutoriais demonstra um padrão para criar soluções RAG no Azure AI Search. Ele abrange os componentes internos na Pesquisa de IA do Azure, dependências e otimizações para maximizar a relevância e minimizar os custos.
Os dados de exemplo são uma coleção de PDFs carregados no Armazenamento do Azure. O conteúdo é do e-book gratuito Earth da NASA.
O código de exemplo pode ser encontrado neste bloco de anotações do Python, mas recomendamos o uso dos artigos desta série para contextualizar, obter insights e explorar abordagens alternativas.
Exercícios desta série
Escolha seus modelos para incorporações e bate-papo
Criar um índice para pesquisa conversacional
Projetar um pipeline de indexação que carregue, fragmente, incorpore e ingera conteúdo pesquisável
Recupere conteúdo pesquisável usando consultas e um modelo de bate-papo
Maximizar a relevância
Minimize o armazenamento e os custos
Omitimos alguns aspetos de um padrão RAG para reduzir a complexidade:
Sem gerenciamento do histórico e contexto do bate-papo. O histórico de bate-papo normalmente é armazenado e gerenciado separadamente dos seus dados de aterramento, o que significa etapas e código extras. Este tutorial assume perguntas atômicas e respostas do LLM e da experiência padrão do LLM.
Nenhuma segurança por usuário sobre os resultados (o que chamamos de "filtragem de segurança"). Para obter mais informações e recursos, comece com Filtragem de segurança e certifique-se de revisar os links no final do artigo.
Esta série aborda os fundamentos do desenvolvimento de soluções RAG. Depois de entender o básico, continue com aceleradores e outros exemplos de código que fornecem mais abstração ou são mais adequados para ambientes de produção e cargas de trabalho mais complexas.
Por que usar o Azure AI Search for RAG?
Os modelos de chat enfrentam restrições quanto à quantidade de dados que podem aceitar num pedido. Você deve usar o Azure AI Search porque a qualidade do conteúdo passado para um LLM pode criar ou quebrar uma solução RAG.
Para fornecer entradas da mais alta qualidade para um modelo de chat, o Azure AI Search fornece o melhor mecanismo de pesquisa da categoria com integração de IA e ajuste de relevância abrangente. O motor de busca suporta pesquisa de semelhança vetorial (vários algoritmos), pesquisa de palavras-chave, pesquisa difusa, pesquisa geoespacial e filtros. Você pode criar solicitações de consulta híbridas que incluem todos esses componentes e pode controlar o quanto cada consulta contribui para a solicitação geral.