Explicabilidade de inferência

O personalizador pode ajudá-lo a entender quais recursos de uma ação escolhida são os mais e menos influentes para depois modelar durante a inferência. Quando habilitada, a explicabilidade de inferência inclui pontuações de recursos do modelo subjacente na resposta da API de classificação, para que seu aplicativo receba essas informações no momento da inferência.

As pontuações de recursos permitem que você entenda melhor a relação entre os recursos e as decisões tomadas pelo Personalizador. Eles podem ser usados para fornecer informações aos usuários finais sobre por que uma recomendação específica foi feita ou para analisar se seu modelo está exibindo preconceito em relação ou contra determinadas configurações, usuários e ações contextuais.

Como faço para habilitar a explicabilidade de inferência?

Definir o sinalizador de configuração de serviço IsInferenceExplainabilityEnabled em sua configuração de serviço permite que o Personalizer inclua valores e pesos de recursos na resposta da API de classificação. Para atualizar sua configuração de serviço atual, use a Configuração do Serviço – Atualizar API. No corpo da solicitação JSON, inclua sua configuração de serviço atual e adicione a entrada adicional: "IsInferenceExplainabilityEnabled": true. Se você não souber sua configuração de serviço atual, poderá obtê-la na Configuração de Serviço – Obter API

{
  "rewardWaitTime": "PT10M",
  "defaultReward": 0,
  "rewardAggregation": "earliest",
  "explorationPercentage": 0.2,
  "modelExportFrequency": "PT5M",
  "logMirrorEnabled": true,
  "logMirrorSasUri": "https://testblob.blob.core.windows.net/container?se=2020-08-13T00%3A00Z&sp=rwl&spr=https&sv=2018-11-09&sr=c&sig=signature",
  "logRetentionDays": 7,
  "lastConfigurationEditDate": "0001-01-01T00:00:00Z",
  "learningMode": "Online",
  "isAutoOptimizationEnabled": true,
  "autoOptimizationFrequency": "P7D",
  "autoOptimizationStartDate": "2019-01-19T00:00:00Z",
"isInferenceExplainabilityEnabled": true
}

Como interpretar pontuações de recursos?

Habilitar a explicabilidade de inferência adicionará uma coleção à resposta JSON da API Rank chamada inferenceExplanation. Isso contém uma lista de nomes e valores de recursos que foram enviados na solicitação de classificação, juntamente com pontuações de recursos aprendidas pelo modelo subjacente do Personalizer. As pontuações de recursos fornecem informações sobre a influência de cada recurso no modelo que escolhe a ação.

{
  "ranking": [
    {
      "id": "EntertainmentArticle",
      "probability": 0.8
    },
    {
      "id": "SportsArticle",
      "probability": 0.15
    },
    {
      "id": "NewsArticle",
      "probability": 0.05
    }
  ],
 "eventId": "75269AD0-BFEE-4598-8196-C57383D38E10",
 "rewardActionId": "EntertainmentArticle",
 "inferenceExplanation": [
    {
        "id”: "EntertainmentArticle",
        "features": [
            {
                "name": "user.profileType",
                "score": 3.0
            },
            {
                "name": "user.latLong",
                "score": -4.3
            },
            {
                "name": "user.profileType^user.latLong",
                "score" : 12.1
            },
        ]
  ]
}

No exemplo acima, três IDs de ação são retornados na coleção de classificação junto com suas respetivas pontuações de probabilidades. A ação com maior probabilidade é the_ melhor action_ determinada pelo modelo treinado em dados enviados para as APIs do Personalizer, que neste caso é "id": "EntertainmentArticle". O ID da ação pode ser visto novamente na coleção inferenceExplanation , juntamente com os nomes e pontuações dos recursos determinados pelo modelo para essa ação e os recursos e valores enviados para a API Rank.

Lembre-se de que o Personalizer retornará a melhor ação ou uma ação exploratória escolhida pela política de exploração. A melhor ação é aquela que o modelo determinou ter a maior probabilidade de maximizar a recompensa média, enquanto as ações exploratórias são escolhidas entre o conjunto de todas as ações possíveis fornecidas na chamada da API Rank. As ações tomadas durante a exploração não aproveitam as pontuações de recursos para determinar qual ação tomar, portanto , as pontuações de recursos para ações exploratórias não devem ser usadas para obter uma compreensão do motivo pelo qual a ação foi tomada. Você pode aprender mais sobre exploração aqui.

Para as melhores ações retornadas pelo Personalizador, as pontuações de recursos podem fornecer informações gerais onde:

• Pontuações positivas maiores fornecem mais suporte para o modelo que escolhe esta ação.
• Pontuações negativas maiores fornecem mais suporte para o modelo que não escolhe esta ação.
• Pontuações próximas de zero têm um pequeno efeito na decisão de escolher esta ação.

Considerações importantes para a explicabilidade de inferência

• Aumento da latência. Habilitar a Explicabilidade de Inferência aumentará significativamente a latência das chamadas da API de Classificação devido ao processamento das informações do recurso. Execute experimentos e meça a latência em seu cenário para ver se ele atende aos requisitos de latência do seu aplicativo.

• Características correlacionadas. Recursos altamente correlacionados entre si podem reduzir a utilidade das pontuações de recursos. Por exemplo, suponha que o recurso A esteja altamente correlacionado com o recurso B. Pode ser que a pontuação do Recurso A seja um grande valor positivo, enquanto a pontuação do Recurso B seja um grande valor negativo. Neste caso, as duas características podem efetivamente anular-se mutuamente e ter pouco ou nenhum impacto no modelo. Embora o Personalizer seja muito robusto para recursos altamente correlacionados, ao usar a Explicabilidade de Inferência, certifique-se de que os recursos enviados ao Personalizer não estejam altamente correlacionados

• Apenas exploração padrão. Atualmente, a Explicabilidade de Inferência suporta apenas o algoritmo de exploração padrão.

Próximos passos

Aprendizagem por reforço