Passo 2. Implante o POC para coletar feedback das partes interessadas

No final desta etapa, você terá implantado o aplicativo Agent Evaluation Review, que permite que as partes interessadas testem e forneçam feedback sobre seu POC. Registros detalhados do uso de suas partes interessadas e seus comentários fluirão para as Tabelas Delta em sua Lakehouse.

Requisitos

• Conclua o Passo 1. Clone repositório de código e crie etapas de computação
• Dados de Pré-requisito: Reunir requisitos está disponível em sua Lakehouse dentro de um volume do Catálogo Unity.

Consulte o repositório GitHub para obter o código de exemplo nesta seção.

Aplicação RAG de prova de conceito

O primeiro passo no desenvolvimento orientado para a avaliação é construir uma prova de conceito (POC). Um POC oferece os seguintes benefícios:

• Fornece uma visão direcional sobre a viabilidade do seu caso de uso com o RAG
• Permite recolher feedback inicial dos detentores de interesse, o que, por sua vez, lhe permite criar a primeira versão do seu Conjunto de Avaliação
• Estabelece uma medição de linha de base da qualidade para começar a iterar a partir de

O Databricks recomenda criar seu POC usando a arquitetura RAG mais simples e os padrões recomendados pelo Databricks para cada parâmetro.

Essa recomendação ocorre porque há centenas de combinações possíveis de parâmetros que você pode ajustar em seu aplicativo RAG. Você pode facilmente passar semanas ajustando isso, mas se fizer isso antes de poder avaliar sistematicamente seu RAG, você acabará no que é conhecido como um loop de desgraça POC – iterando em configurações, mas sem nenhuma maneira de saber objetivamente se você fez uma melhoria – tudo enquanto suas partes interessadas ficam impacientemente esperando para revisar.

Os modelos POC neste tutorial são projetados com iteração de qualidade em mente. Eles são parametrizados com base no que a equipe de pesquisa da Databricks mostrou ser importante ajustar para melhorar a qualidade do RAG. Esses modelos não são "3 linhas de código que magicamente fazem um RAG", mas são um aplicativo RAG bem estruturado que pode ser ajustado para qualidade nas etapas seguintes de um fluxo de trabalho de desenvolvimento orientado por avaliação.

Isso permite que você implante rapidamente um POC, mas faça a transição rapidamente para a iteração de qualidade sem a necessidade de reescrever seu código.

Abaixo está a arquitetura técnica do aplicativo POC:

• Siga as APIs do Modelo de Base de Taxa de Transferência Provisionada para outros modelos de código aberto disponíveis no Databricks Marketplace.
• Siga Create_OpenAI_External_Model notebook ou modelos externos no Mosaic AI Model Servindo para modelos hospedados por terceiros suportados, como Azure OpenAI, OpenAI, Cohere, Anthropic e Google Gemini.

Etapas para implantar um POC para coletar feedback

As etapas a seguir mostram como executar e implantar um aplicativo de IA generativa POC. Depois de implantar, você recebe uma URL para o aplicativo de revisão que pode ser compartilhada com as partes interessadas para coletar comentários.

1. Abra a pasta de código POC dentro de A_POC_app com base no seu tipo de dados:

   • Para arquivos PDF, use o pdf_uc_volume.
   • Para arquivos do Powerpoint, use o pptx_uc_volume.
   • Para arquivos DOCX, use o docx_uc_volume.
   • Arquivos JSON com texto, markdown, conteúdo HTML e metadados, use o json_uc_volume

   Se seus dados não atenderem a um dos requisitos acima, você pode personalizar a função de análise (parser_udf) nos 02_poc_data_pipeline diretórios POC acima para trabalhar com seus tipos de arquivo.

   Dentro da pasta POC, você vê os seguintes blocos de anotações:

   

   Nota

   Esses blocos de anotações são relativos ao POC específico que você escolheu. Por exemplo, se vir uma referência a 00_config e tiver escolhido pdf_uc_volume, pode encontrar o bloco de notas relevante 00_config em A_POC_app/pdf_uc_volume/00_config.

2. Opcionalmente, revise os parâmetros padrão.

   Abra o 00_config bloco de anotações dentro do diretório POC que você escolheu acima para visualizar os parâmetros padrão dos aplicativos POC para o pipeline de dados e a cadeia RAG.

   Importante

   Os parâmetros padrão recomendados pelo Databricks não se destinam a ser perfeitos, mas são um lugar para começar. As próximas etapas deste fluxo de trabalho guiam você pela iteração nesses parâmetros.

3. Valide a configuração.

   Execute o 01_validate_config para verificar se a configuração é válida e se todos os recursos estão disponíveis. O rag_chain_config.yaml arquivo aparece no diretório, que é usado para implantar o aplicativo.

4. Execute o pipeline de dados.

   O pipeline de dados POC é um notebook Databricks baseado no Apache Spark. Abra o 02_poc_data_pipeline bloco de anotações e pressione Executar tudo para executar o pipeline. O pipeline faz o seguinte:

   • Carrega os documentos brutos do volume UC
   • Analisa cada documento, salvando os resultados em uma tabela delta
   • Fragmenta cada documento, salvando os resultados em uma tabela delta
   • Incorpora os documentos e cria um índice vetorial usando o Mosaic AI Vetor Search

   Metadados, como tabelas de saída e configuração, sobre o pipeline de dados são registrados no MLflow:

   

   Você pode inspecionar as saídas procurando links para a saída de tabelas delta ou índices vetoriais na parte inferior do bloco de anotações:

   Vector index: https://<your-workspace-url>.databricks.com/explore/data/<uc-catalog>/<uc-schema>/<app-name>_poc_chunked_docs_gold_index
   
   Output tables:
   
   Bronze Delta Table w/ raw files: https://<your-workspace-url>.databricks.com/explore/data/<uc-catalog>/<uc-schema>/<app-name>__poc_raw_files_bronze
   Silver Delta Table w/ parsed files: https://<your-workspace-url>.databricks.com/explore/data/<uc-catalog>/<uc-schema>/<app-name>__poc_parsed_docs_silver
   Gold Delta Table w/ chunked files: https://<your-workspace-url>.databricks.com/explore/data/<uc-catalog>/<uc-schema>/<app-name>__poc_chunked_docs_gold
   

5. Implante a cadeia POC no aplicativo Review.

   A cadeia POC padrão é uma cadeia RAG de conversação de várias voltas construída usando LangChain.

   Nota

   A cadeia POC usa log baseado em código MLflow. Para entender mais sobre o registro em log baseado em código, consulte Registrar e registrar agentes de IA.

   1. Abrir o 03_deploy_poc_to_review_app bloco de notas

   2. Execute cada célula do bloco de anotações.

   3. O rastreamento MLflow mostra como o aplicativo POC funciona. Ajuste a pergunta de entrada para uma que seja relevante para o seu caso de uso e execute novamente a célula para "verificar vibe" o aplicativo.

      

   4. Modifique as instruções padrão para serem relevantes para o seu caso de uso. Eles são exibidos no aplicativo Avaliações.

         instructions_to_reviewer = f"""## Instructions for Testing the {RAG_APP_NAME}'s Initial Proof of Concept (PoC)
      
         Your inputs are invaluable for the development team. By providing detailed feedback and corrections, you help us fix issues and improve the overall quality of the application. We rely on your expertise to identify any gaps or areas needing enhancement.
      
         1. **Variety of Questions**:
            - Please try a wide range of questions that you anticipate the end users of the application will ask. This helps us ensure the application can handle the expected queries effectively.
      
         2. **Feedback on Answers**:
            - After asking each question, use the feedback widgets provided to review the answer given by the application.
            - If you think the answer is incorrect or could be improved, please use "Edit Answer" to correct it. Your corrections will enable our team to refine the application's accuracy.
      
         3. **Review of Returned Documents**:
            - Carefully review each document that the system returns in response to your question.
            - Use the thumbs up/down feature to indicate whether the document was relevant to the question asked. A thumbs up signifies relevance, while a thumbs down indicates the document was not useful.
      
         Thank you for your time and effort in testing {RAG_APP_NAME}. Your contributions are essential to delivering a high-quality product to our end users."""
      
         print(instructions_to_reviewer)
      

   5. Execute a célula de implantação para obter um link para o aplicativo Revisão.

      Review App URL: https://<your-workspace-url>.databricks.com/ml/review/<uc-catalog>.<uc-schema>.<uc-model-name>/<uc-model-version>
      

6. Conceda permissões a utilizadores individuais para acederem à aplicação Rever.

   Você pode conceder acesso a usuários que não são do Databricks seguindo as etapas em Configurar permissões para usar o aplicativo de revisão.

7. Teste o aplicativo de avaliações fazendo algumas perguntas e fornecendo feedback.

   Nota

   Os Rastreamentos MLflow e os comentários do usuário do Aplicativo de Revisão aparecem em Tabelas Delta no esquema de catálogo que você configurou. Os logs podem levar até 2 horas para aparecer nessas tabelas delta.

8. Partilhar a aplicação Avaliar com as partes interessadas

   Agora você pode compartilhar seu aplicativo POC RAG com suas partes interessadas para obter seus comentários.

   Importante

   A Databricks sugere distribuir seu POC para pelo menos três partes interessadas e fazer com que cada uma delas faça de 10 a 20 perguntas. É importante que várias partes interessadas testem o seu POC para que possa ter um conjunto diversificado de perspetivas para incluir no seu conjunto de avaliação.

Próximo passo

Continue com o Passo 3. Organize um conjunto de avaliação a partir do feedback das partes interessadas.

< Anterior: Passo 1. Clone repo & create compute

Próximo: Passo 3. Organizar um conjunto de avaliação >