Referência dos juízes do Mosaic AI Agent Evaluation LLM

Este artigo aborda os detalhes de cada um dos juízes de LLM incorporados ao Mosaic AI Agent Evaluation, incluindo as métricas de entrada e saída necessárias. Também abrange a produção produzida por juízes personalizados.

Para obter uma introdução aos juízes de LLM, consulte Como a qualidade, o custo e a latência são avaliados pela Avaliação do agente.

A lista seguinte table contém os juízes predefinidos:

Juízes de resposta

As métricas de qualidade de resposta avaliam o quão bem o aplicativo responde à solicitação de um usuário. Essas métricas avaliam fatores como a precisão da resposta em comparação com a verdade do solo, se a resposta está bem fundamentada dado o contexto recuperado (ou se o LLM está alucinando) e se a resposta é segura e livre de linguagem tóxica.

No geral, o LLM deu uma resposta precisa?

O correctness juiz LLM dá uma avaliação binária e uma fundamentação escrita sobre se a resposta gerada pelo agente é factualmente precisa e semanticamente semelhante à resposta de verdade-base fornecida.

Entrada necessária para correctness

A verdade expected_response fundamental é necessária.

A avaliação de entrada set deve ter o seguinte columns:

• request
• expected_response

Além disso, se você não usar o model argumento na chamada para mlflow.evaluate(), você também deve fornecer um response ou trace.

Saída para correctness

As seguintes métricas são calculadas para cada pergunta:

A seguinte métrica é calculada para toda a avaliação set:

A resposta é relevante para o pedido?

O relevance_to_query juiz LLM determina se a resposta é relevante para o pedido de entrada.

Entrada necessária para relevance_to_query

A verdade fundamental não é necessária.

A avaliação de entrada set deve ter o seguinte column:

• request

Além disso, se você não usar o model argumento na chamada para mlflow.evaluate(), você também deve fornecer um response ou trace.

Saída para relevance_to_query

As seguintes métricas são calculadas para cada pergunta:

A seguinte métrica é calculada para a avaliação completa set:

A resposta é uma alucinação ou está fundamentada no contexto recuperado?

O groundedness juiz LLM retorna uma avaliação binária e um raciocínio escrito sobre se a resposta gerada é factualmente consistente com o contexto recuperado.

Entrada necessária para groundedness

A verdade fundamental não é necessária.

A avaliação de entrada set deve ter o seguinte column:

• request

Além disso, se você não usar o model argumento na chamada para mlflow.evaluate(), você também deve fornecer um trace ou ambos de response e retrieved_context[].content.

Saída para groundedness

As seguintes métricas são calculadas para cada pergunta:

A seguinte métrica é calculada para toda a avaliação set:

A resposta gerada segue as orientações fornecidas?

O juiz guideline_adherence LLM emite uma avaliação binária e uma justificação escrita sobre se a resposta gerada está de acordo com o guidelines.

Entrada necessária para guideline_adherence

A verdade fundamental não é necessária.

A avaliação de entrada set deve ter os seguintes columns:

• request
• guidelines

Além disso, se você não usar o model argumento na chamada para mlflow.evaluate(), você também deve fornecer um trace ou response. Algumas diretrizes podem ser aplicadas globalmente à sua avaliação set. Em vez de copiar estas diretrizes para cada avaliação, pode especificar global_guidelines na configuração do avaliador da seguinte forma:

eval_set = [
    {
        "request": "What is the difference between reduceByKey and groupByKey in Spark?",
        "response": "reduceByKey aggregates data before shuffling, whereas groupByKey shuffles all data, making reduceByKey more efficient.",
        "guidelines": [
            "The response must be in English",
            "The response must be clear, coherent, and concise",
        ]
    }
]

mlflow.evaluate(
    data=pd.DataFrame(eval_set),
    model_type="databricks-agent",
    evaluator_config={
        "databricks-agent": {
            "global_guidelines": [
                "The response must be in English",
                "The response must be clear, coherent, and concise",
            ],
        }
    }
)

Saída para guideline_adherence

As seguintes métricas são calculadas para cada pergunta:

A seguinte métrica é calculada para toda a avaliação set:

| Nome da métrica | Tipo | Descrição | |—–|—–|—–| | response/llm_judged/guideline_adherence/rating/percentage | float, [0, 1] | Para todas as perguntas, qual é a percentagem em que whereguideline_adherence/rating é avaliada como yes. | response/llm_judged/global_guideline_adherence/rating/percentage | float, [0, 1] | Em todas as perguntas, qual é a porcentagem whereglobal_guideline_adherence/rating é julgada como yes.

Há conteúdo nocivo na resposta do agente?

O safety juiz LLM retorna uma classificação binária e uma justificativa escrita sobre se a resposta gerada tem conteúdo nocivo ou tóxico.

Entrada necessária para safety

A verdade fundamental não é necessária.

A avaliação de entrada set deve ter as seguintes column:

• request

Além disso, se você não usar o model argumento na chamada para mlflow.evaluate(), você também deve fornecer um response ou trace.

Saída para safety

As seguintes métricas são calculadas para cada pergunta:

A seguinte métrica é calculada para toda a avaliação set:

Juízes de recuperação

As métricas de qualidade de recuperação avaliam o desempenho do recuperador na localização dos documentos que são relevantes para a solicitação de entrada. Essas métricas avaliam fatores como: O retriever encontrou os pedaços relevantes? Quantos dos documentos relevantes conhecidos encontrou? Os documentos que considerou foram suficientes para produzir a resposta esperada?

O retriever encontrou pedaços relevantes?

O chunk-relevance-precision juiz LLM determina se as partes devolvidas pelo recuperador são relevantes para a solicitação de entrada. A precisão é calculada como o número de blocos relevantes devolvidos dividido pelo número total de blocos devolvidos. Por exemplo, se o recuperador retornar quatro partes, e o juiz LLM determinar que três dos quatro documentos devolvidos são relevantes para a solicitação, então llm_judged/chunk_relevance/precision é 0,75.

Entrada necessária para llm_judged/chunk_relevance

A verdade fundamental não é necessária.

A avaliação de entrada set deve ter os seguintes requisitos column:

• request

Além disso, se você não usar o model argumento na chamada para mlflow.evaluate(), você também deve fornecer um retrieved_context[].content ou trace.

Saída para llm_judged/chunk_relevance

As seguintes métricas são calculadas para cada pergunta:

A seguinte métrica é relatada para toda a avaliação set.

Quantos dos documentos relevantes conhecidos o recuperador encontrou?

document_recall é calculado como o número de documentos relevantes devolvidos dividido pelo número total de documentos relevantes com base na verdade dos fundamentos. Por exemplo, suponha que dois documentos são relevantes com base na verdade fundamental. Se o recuperador devolver um desses documentos, document_recall é 0,5. Essa métrica não é afetada pelo número total de documentos retornados.

Esta métrica é determinística e não usa um juiz LLM.

Entrada necessária para document_recall

A verdade fundamental é necessária.

A avaliação de entrada set deve ter o seguinte column

• expected_retrieved_context[].doc_uri

Além disso, se você não usar o model argumento na chamada para mlflow.evaluate(), você também deve fornecer um retrieved_context[].doc_uri ou trace.

Saída para document_recall

A seguinte métrica é calculada para cada pergunta:

A seguinte métrica é calculada para toda a avaliação set:

O recuperador encontrou documentos suficientes para produzir a resposta esperada?

O context_sufficiency juiz LLM determina se o recuperador recuperou documentos suficientes para produzir a resposta esperada.

Entrada necessária para context_sufficiency

A verdade expected_response fundamental é necessária.

A avaliação de entrada set deve ter o seguinte columns:

• request
  • expected_response

Além disso, se você não usar o model argumento na chamada para mlflow.evaluate(), você também deve fornecer um retrieved_context[].content ou trace.

Saída para context_sufficiency

As seguintes métricas são calculadas para cada pergunta:

A seguinte métrica é calculada para toda a avaliação set:

Métricas de juiz personalizadas

Você pode criar um juiz personalizado para realizar avaliações específicas para seu caso de uso. Para obter detalhes, consulte Criar juízes LLM personalizados.

A saída produzida por um juiz aduaneiro depende do seu assessment_type, ANSWER ou RETRIEVAL.

Juiz LLM personalizado para avaliação ANSWER

Um juiz LLM personalizado para avaliação ANSWER avalia a resposta para cada pergunta.

Resultados fornecidos para cada avaliação:

A seguinte métrica é calculada para a totalidade da avaliação set:

Juiz LLM personalizado para avaliação de RECUPERAÇÃO

Um juiz LLM personalizado para avaliação RETRIEVAL avalia cada parte recuperada em todas as perguntas.

Resultados fornecidos para cada avaliação:

Métricas reportadas para toda a avaliação set: