Recuperação de Geração Aumentada por meio do fluxo de prompt do Azure Machine Learning (versão prévia)

A Geração Aumentada de Recuperação (RAG) é um padrão que funciona com Modelos de Linguagem Grande (LLM) pré-treinados e seus próprios dados para gerar respostas. No Azure Machine Learning, agora você pode implementar o RAG em um fluxo de prompt. No momento, essa oferta está em visualização pública.

Este artigo lista alguns dos benefícios do RAG, fornece uma visão geral técnica e descreve o suporte do RAG no Azure Machine Learning.

Por que usar o RAG?

Tradicionalmente, um modelo base é treinado com dados pontuais para garantir sua eficácia na execução de tarefas específicas e na adaptação ao domínio desejado. Contudo, às vezes, você precisa trabalhar com dados novos ou mais recentes. Duas abordagens podem complementar o modelo base: ajuste fino ou treinamento adicional do modelo base com novos dados ou RAG que usam engenharia de prompt para complementar ou orientar o modelo em tempo real.

O ajuste fino é adequado para adaptação contínua de domínio, permitindo melhorias significativas na qualidade do modelo, mas geralmente incorrendo em custos mais altos. Por outro lado, a RAG oferece uma abordagem alternativa, permitindo o uso do mesmo modelo de um mecanismo de raciocínio sobre novos dados fornecidos no promt. Essa técnica permite o aprendizado no contexto sem a necessidade de ajuste fino caro, capacitando as empresas a usar LLMs com mais eficiência.

A RAG permite que as empresas obtenham soluções personalizadas, mantendo a relevância dos dados e otimizando os custos. Ao adotar a RAG, as empresas podem usar os recursos de raciocínio das LLMs, utilizando seus modelos existentes para processar e gerar respostas com base em novos dados. O RAG facilita as atualizações periódicas de dados sem a necessidade de ajuste fino, simplificando a integração de LLMs nas empresas.

• Forneça dados complementares como uma diretiva ou um prompt para o LLM
• Adiciona um componente de verificação de fatos aos seus modelos existentes
• Treine seu modelo nos dados atualizados sem incorrer no tempo extra e nos custos associados ao ajuste fino
• Treina com dados específicos da sua empresa

Visão geral técnica do uso de RAG em Modelos de Linguagem Grande (LLMs)

Na recuperação de informações, o RAG é um recurso que permite que você possa aproveitar o poder dos LLMs com seus próprios dados. Habilitar uma LLM para acessar dados personalizados envolve as etapas a seguir: Em primeiro lugar, os grandes lotes de dados devem ser agrupados em pedaços gerenciáveis. Em segundo lugar, os pedaços precisam ser convertidos em um formato pesquisável. Em terceiro lugar, os dados convertidos devem ser armazenados em um local que permita um acesso eficiente. Além disso, é importante armazenar metadados relevantes para citações ou referências quando o LLM fornece respostas.

Vamos examinar o diagrama com mais detalhes.

• Dados de origem: é aqui que seus dados existem. Pode ser um arquivo/pasta em seu computador, um arquivo no armazenamento em nuvem, um ativo de dados do Azure Machine Learning, um repositório Git ou um banco de dados SQL.

• Partes de dados: os dados na sua fonte precisam ser convertidos em texto sem formatação. Por exemplo, documentos do Word ou PDFs precisam ser abertos e convertidos em texto. Em seguida, o texto é agrupado em partes menores.

• Como converter o texto em vetores, um processo conhecido como incorporação. Os vetores são representações numéricas de conceitos convertidos em sequências numéricas, o que torna mais fácil para os computadores entenderem as relações entre esses conceitos.

• Links entre dados de origem e inserções: essas informações são armazenadas como metadados nas partes criadas, que são usadas para ajudar as LLMs a gerar citações ao gerar respostas.

RAG com o Azure Machine Learning (visualização)

O RAG no Azure Machine Learning é habilitado pela integração com o Serviço OpenAI do Azure para modelos de linguagem grandes e vetorização, com suporte para Faiss e Azure AI Search (antigo Cognitive Search) como repositórios de vetores e suporte para ferramentas e estruturas de ofertas de software livre, como LangChain para agrupamento de dados.

Para implementar a RAG, alguns requisitos importantes devem ser atendidos. Em primeiro lugar, os dados devem ser formatados de uma maneira que permita uma pesquisa eficiente antes de enviá-los para o LLM, o que, em última análise, reduz o consumo de tokens. Para garantir a eficácia da RAG, também é importante atualizar seus dados periodicamente. Além disso, ter a capacidade de avaliar a saída do LLM por meio dos seus dados permite medir a eficácia de suas técnicas. O Azure Machine Learning não só permite que você comece facilmente a trabalhar com esses aspectos, mas também permite melhorar e produzir na RAG. Ofertas do Azure Machine Learning:

• Amostras de como iniciar cenários de Q&A baseados em RAG.
• Experiência de interface do usuário baseada em assistente para criar e gerenciar dados e incorporá-los em fluxos de prompt.
• Capacidade de medir e aprimorar fluxos de trabalho da RAG, incluindo geração de dados de teste, criação automática de prompt e métricas de avaliação de prompt visualizadas.
• Cenários avançados com mais controle usando os novos componentes internos da RAG para criar pipelines personalizados em notebooks.
• Experiência de código que permite o uso dos dados criados com ofertas de código aberto, como o LangChain.
• Integração perfeita de fluxos de trabalho da RAG em fluxos de trabalho MLOps por meio de pipelines e trabalhos.

Conclusão

O Azure Machine Learning permite que você incorpore o RAG em sua IA usando o Estúdio do Azure Machine Learning ou usando código com pipelines do Azure Machine Learning. Ele oferece várias vantagens, como a capacidade de medir e aprimorar fluxos de trabalho da RAG, testar a geração de dados, criar prompts automaticamente e visualizar métricas de avaliação de prompt. Ele permite a integração de fluxos de trabalho da RAG em fluxos de trabalho MLOps por meio de pipelines. Você também pode usar seus dados com ofertas de código aberto, como o LangChain.

Próximas etapas

Como usar Repositórios de Vetores com o Azure Machine Learning (versão prévia)

Como criar um índice de vetor no fluxo de prompt do Azure Machine Learning (versão prévia)