Partilhar via


As pontuações de recompensa indicam o sucesso da personalização

Importante

A partir de 20 de setembro de 2023, você não poderá criar novos recursos do Personalizador. O serviço de Personalizador será aposentado no dia 1º de outubro de 2026.

A pontuação de recompensa indica o quão bem a escolha de personalização, RewardActionID, resultou para o usuário. O valor da pontuação de recompensa é determinado pela sua lógica de negócios, com base em observações do comportamento do usuário.

O Personalizer treina seus modelos de aprendizado de máquina avaliando as recompensas.

Saiba como configurar a pontuação de recompensa padrão no portal do Azure para seu recurso do Personalizador.

Use a API de recompensa para enviar a pontuação de recompensa para o Personalizador

As recompensas são enviadas ao Personalizador pela API de recompensas. Normalmente, uma recompensa é um número de 0 a 1. Uma recompensa negativa, com o valor de -1, é possível em determinados cenários e só deve ser usada se tiver experiência com aprendizagem por reforço (RL). O personalizador treina o modelo para alcançar a maior soma possível de recompensas ao longo do tempo.

As recompensas são enviadas após o comportamento do usuário ter acontecido, o que pode ser dias depois. A quantidade máxima de tempo que o Personalizador aguardará até que um evento seja considerado sem recompensa ou uma recompensa padrão seja configurada com o Tempo de Espera de Recompensa no portal do Azure.

Se a pontuação de recompensa de um evento não tiver sido recebida dentro do Tempo de Espera de Recompensa, a Recompensa Padrão será aplicada. Normalmente, a recompensa padrão é configurada para ser zero.

Comportamentos e dados a considerar para recompensas

Considere estes sinais e comportamentos para o contexto da pontuação de recompensa:

  • Entrada direta do usuário para sugestões quando as opções estão envolvidas ("Você quer dizer X?").
  • Duração da sessão.
  • Tempo entre sessões.
  • Análise de sentimento das interações do usuário.
  • Perguntas diretas e mini pesquisas onde o bot pede feedback ao usuário sobre utilidade, precisão.
  • Resposta a alertas ou atraso na resposta a alertas.

Compor pontuações de recompensa

Uma pontuação de recompensa deve ser calculada em sua lógica de negócios. A pontuação pode ser representada como:

  • Um único número enviado uma vez
  • Uma pontuação enviada imediatamente (como 0,8) e uma pontuação adicional enviada posteriormente (normalmente 0,2).

Recompensas padrão

Se nenhuma recompensa for recebida dentro do Tempo de Espera de Recompensa, a duração desde a chamada de Classificação, o Personalizador aplicará implicitamente a Recompensa Padrão a esse evento de Classificação.

Construindo recompensas com vários fatores

Para uma personalização eficaz, você pode construir a pontuação de recompensa com base em vários fatores.

Por exemplo, você pode aplicar estas regras para personalizar uma lista de conteúdo de vídeo:

Comportamento do utilizador Valor da pontuação parcial
O usuário clicou no item superior. +0.5 Recompensa
O usuário abriu o conteúdo real desse item. +0.3 Recompensa
O usuário assistiu 5 minutos do conteúdo ou 30%, o que for mais longo. +0.2 recompensa

Em seguida, você pode enviar a recompensa total para a API.

Chamando a API de recompensa várias vezes

Você também pode ligar para a API de recompensa usando o mesmo ID de evento, enviando pontuações de recompensa diferentes. Quando o Personalizer recebe essas recompensas, ele determina a recompensa final para esse evento, agregando-as conforme especificado na configuração do Personalizador.

Valores de agregação:

  • Primeiro: Tira a primeira pontuação de recompensa recebida pelo evento e descarta o restante.
  • Soma: Obtém todas as pontuações de recompensa coletadas para o eventId e as adiciona.

Todas as recompensas de um evento, que são recebidas após o Tempo de Espera de Recompensa, são descartadas e não afetam o treinamento dos modelos.

Ao somar pontuações de recompensa, sua recompensa final pode estar fora da faixa de pontuação esperada. Isso não fará com que o serviço falhe.

Práticas recomendadas para calcular a pontuação de recompensa

  • Considere verdadeiros indicadores de personalização bem-sucedida: é fácil pensar em termos de cliques, mas uma boa recompensa é baseada no que você quer que seus usuários alcancem em vez do que você quer que as pessoas façam. Por exemplo, recompensar em cliques pode levar à seleção de conteúdo propenso a clickbaits.

  • Use uma pontuação de recompensa para o quão boa a personalização funcionou: Personalizar uma sugestão de filme resultaria em que o usuário assistisse ao filme e lhe desse uma classificação alta. Como a classificação do filme provavelmente depende de muitas coisas (a qualidade da atuação, o humor do usuário), não é um bom sinal de recompensa para o quão bem a personalização funcionou. O usuário assistindo os primeiros minutos do filme, no entanto, pode ser um sinal melhor de eficácia de personalização e enviar uma recompensa de 1 após 5 minutos será um sinal melhor.

  • As recompensas aplicam-se apenas ao RewardActionID: o Personalizer aplica as recompensas para compreender a eficácia da ação especificada no RewardActionID. Se você optar por exibir outras ações e o usuário selecioná-las, a recompensa deve ser zero.

  • Considere consequências não intencionais: crie funções de recompensa que levem a resultados responsáveis com ética e uso responsável.

  • Use recompensas incrementais: adicionar recompensas parciais para comportamentos menores do usuário ajuda o Personalizer a alcançar recompensas melhores. Essa recompensa incremental permite que o algoritmo saiba que está cada vez mais perto de envolver o usuário no comportamento final desejado.

    • Se você estiver mostrando uma lista de filmes, se o usuário passar o mouse sobre o primeiro por um tempo para ver mais informações, você pode determinar que algum envolvimento do usuário aconteceu. O comportamento pode contar com uma pontuação de recompensa de 0,1.
    • Se o usuário abriu a página e saiu, a pontuação de recompensa pode ser de 0,2.

Tempo de espera de recompensa

O Personalizador irá correlacionar as informações de uma chamada de Rank com as recompensas enviadas em chamadas de Recompensa para treinar o modelo, que podem vir em momentos diferentes. O Personalizador aguarda a pontuação de recompensa por um tempo limitado definido, começando quando a chamada de Rank correspondente ocorreu. Isso é feito mesmo que a chamada Rank tenha sido feita usando ativação diferida](concept-active-inactive-events.md).

Se o Tempo de Espera de Recompensa expirar e não houver informações de recompensa, uma recompensa padrão será aplicada a esse evento para treinamento. Você pode selecionar um tempo de espera de recompensa de 10 minutos, 4 horas, 12 horas ou 24 horas. Se o seu cenário exigir tempos de espera de recompensa mais longos (por exemplo, para campanhas de e-mail de marketing), estamos oferecendo uma visualização privada de tempos de espera mais longos. Abra um tíquete de suporte no portal do Azure para entrar em contato com a equipe e ver se você se qualifica e ele pode ser oferecido a você.

Melhores práticas para o tempo de espera de recompensa

Siga estas recomendações para obter melhores resultados.

  • Torne o Tempo de Espera de Recompensa o mais curto possível, deixando tempo suficiente para receber o feedback dos utilizadores.

  • Não escolha uma duração menor do que o tempo necessário para obter feedback. Por exemplo, se algumas de suas recompensas chegarem depois que um usuário assistiu a 1 minuto de um vídeo, a duração do experimento deve ser pelo menos o dobro disso.

Próximos passos