Passo 5 (recuperação). Como depurar a qualidade da recuperação
Esta página descreve como identificar a causa raiz dos problemas de recuperação. Use esta página quando a análise da causa raiz indicar uma causa Improve Retrievalraiz.
A qualidade da recuperação é indiscutivelmente o componente mais importante de uma aplicação RAG. Se as partes mais relevantes não forem retornadas para uma determinada consulta, o LLM não terá acesso às informações necessárias para gerar uma resposta de alta qualidade. Uma recuperação deficiente pode levar a resultados irrelevantes, incompletos ou alucinados. Esta etapa requer esforço manual para analisar os dados subjacentes. O Mosaic AI Agent Framework, com sua estreita integração entre a plataforma de dados (incluindo Unity Catalog e Vetor Search) e o rastreamento de experimentos com MLflow (incluindo avaliação LLM e MLflow Tracing) tornam a solução de problemas muito mais fácil.
Instruções
Siga estas etapas para resolver problemas de qualidade de recuperação:
- Abra o bloco de notas B_quality_iteration/01_root_cause_quality_issues.
- Use as consultas para carregar rastreamentos MLflow dos registros que tiveram problemas de qualidade de recuperação.
- Para cada registro, examine manualmente os blocos recuperados. Se disponíveis, compare-os com os documentos de recuperação da verdade-base.
- Procure padrões ou problemas comuns entre as consultas com baixa qualidade de recuperação. Por exemplo:
- Informações relevantes estão totalmente ausentes do banco de dados vetorial.
- Número insuficiente de partes ou documentos retornados para uma consulta de recuperação.
- Chunks são muito pequenos e não têm contexto suficiente.
- Os chunks são muito grandes e contêm vários tópicos não relacionados.
- O modelo de incorporação não consegue capturar semelhança semântica para termos específicos do domínio.
- Com base no problema identificado, hipotetize potenciais causas e correções correspondentes. Para obter orientações, consulte Razões comuns para a má qualidade da recuperação.
- Siga as etapas em implementar e avaliar alterações para implementar e avaliar uma possível correção. Isso pode envolver modificar o pipeline de dados (por exemplo, ajustar o tamanho do bloco ou tentar um modelo de incorporação diferente) ou modificar a cadeia RAG (por exemplo, implementar pesquisa híbrida ou recuperar mais partes).
- Se a qualidade da recuperação ainda não for satisfatória, repita as etapas 4 e 5 para as próximas correções mais promissoras até que o desempenho desejado seja alcançado.
- Execute novamente a análise de causa raiz para determinar se a cadeia geral tem causas raiz adicionais que devem ser abordadas.
Razões comuns para a má qualidade da recuperação
A tabela a seguir lista as etapas de depuração e possíveis correções para problemas comuns de recuperação. As correções são categorizadas por componente:
- Pipeline de dados
- Configuração em cadeia
- Código da cadeia
O componente define quais etapas você deve seguir na etapa implementar e avaliar alterações .
| Problema de recuperação | Passos de depuração | Correção potencial |
|---|---|---|
| Chunks são muito pequenos | - Examine os blocos em busca de informações de corte incompletas. | - Pipeline de dados Aumente o tamanho do bloco ou sobreponha-se. - Pipeline de dados Experimente uma estratégia de fragmentação diferente. |
| Chunks são muito grandes | - Verifique se os pedaços recuperados contêm vários tópicos não relacionados. | - Pipeline de dados Diminua o tamanho do bloco. - Pipeline de dados Melhore a estratégia de fragmentação para evitar a mistura de tópicos não relacionados (por exemplo, fragmentação semântica). |
| Os chunks não têm informações suficientes sobre o texto do qual foram retirados | - Avalie se a falta de contexto para cada pedaço está causando confusão ou ambiguidade nos resultados recuperados. | - Pipeline de dados Tente adicionar metadados e títulos a cada parte (por exemplo, títulos de seção). - Configuração em cadeia Recupere mais partes e use um LLM com tamanho de contexto maior. |
| O modelo de incorporação não compreende com precisão o domínio ou as frases-chave nas consultas do usuário | - Verifique se partes semanticamente semelhantes estão sendo recuperadas para a mesma consulta. | - Pipeline de dados Experimente diferentes modelos de incorporação. - Configuração em cadeia Experimente a pesquisa híbrida. - Código de cadeia Over-fetch resultados de recuperação e re-rank. Alimente apenas os melhores resultados reclassificados para o contexto LLM. - Pipeline de dados Ajuste o modelo de incorporação em dados específicos do domínio. |
| Informações relevantes em falta na base de dados vetorial | - Verifique se algum documento ou seção relevante está faltando no banco de dados vetorial. | - Pipeline de dados Adicione documentos mais relevantes ao banco de dados vetorial. - Pipeline de dados Melhore a análise de documentos e a extração de metadados. |
| As consultas de recuperação estão mal formuladas | - Se as consultas do usuário estão sendo usadas diretamente para pesquisa semântica, analise essas consultas e verifique se há ambiguidade ou falta de especificidade. Isso pode acontecer facilmente em conversas de várias voltas em que a consulta bruta do usuário faz referência a partes anteriores da conversa, tornando-a inadequada para ser usada diretamente como uma consulta de recuperação. - Verifique se os termos de consulta correspondem à terminologia utilizada no corpus de pesquisa. |
- Código em cadeia Adicione abordagens de expansão ou transformação de consulta (por exemplo, dada uma consulta de usuário, transforme a consulta antes da pesquisa semântica). - Código da cadeia Adicione o entendimento da consulta para identificar a intenção e as entidades (por exemplo, use um LLM para extrair propriedades a serem usadas na filtragem de metadados). |
Próximo passo
Se você também identificou problemas com a qualidade da geração, continue com a Etapa 5 (geração). Como depurar a qualidade da geração.
Se achar que resolveu todos os problemas identificados, continue com o Passo 6. Faça & avaliar correções de qualidade no agente de IA.
< Anterior: Passo 5. Identificar as causas dos problemas de qualidade