Avaliar as importâncias do recurso

Você pode avaliar a importância de cada recurso para o modelo de machine learning do Personalizador realizando uma avaliação de recursos nos dados de log históricos. As avaliações de recursos são úteis para:

• Entender quais recursos são mais ou menos importantes para o modelo.
• Debater recursos extras que podem ser benéficos para o aprendizado, derivando inspiração de quais recursos são atualmente importantes no modelo.
• Identifique recursos potencialmente não importantes ou não úteis que devem ser considerados para análise ou remoção adicionais.
• Solucione problemas comuns e erros que podem ocorrer ao projetar recursos e enviá-los ao Personalizador. Por exemplo, usar GUIDs, carimbos de data/hora ou outros recursos geralmente esparsos pode ser problemático. Saiba mais sobre a melhoria dos recursos.

O que é uma avaliação de recurso?

As avaliações de recursos são realizadas por meio do treinamento e da execução de uma cópia da configuração do modelo atual em dados de log historicamente coletados em um período de tempo especificado. Os recursos são ignorados um de cada vez para medir a diferença no desempenho do modelo com e sem cada recurso. Como as avaliações de recursos são executadas em dados históricos, não há garantia de que esses padrões serão observados em dados futuros. No entanto, esses insights ainda poderão ser relevantes para dados futuros se os dados registrados capturarem variabilidade suficiente ou propriedades não estacionárias dos dados. O desempenho do modelo atual não é afetado pela execução de uma avaliação de recursos.

A pontuação da importância do recurso é uma medida do impacto relativo do recurso na recompensa durante o período de avaliação. As pontuações de importância do recurso são um número entre 0 (menos importante) e 100 (mais importante) e são mostradas na avaliação do recurso. Como a avaliação é executada durante um período específico, as importâncias do recurso podem mudar à medida que dados adicionais são enviados ao Personalizador e conforme os usuários, cenários e dados mudam ao longo do tempo.

Criação de uma avaliação de recurso

Para obter pontuações da importância do recurso, você deve criar uma avaliação de recurso durante um período de dados registrados para gerar um relatório que contenha as pontuações da importância do recurso. Este relatório pode ser visualizado no portal do Azure. Para criar uma avaliação do recurso:

1. Acesse o site do portal do Azure
2. Selecione o recurso do Personalizador
3. Selecione a seção Monitorar no painel de navegação lateral
4. Selecione a guia Recursos
5. Selecione "Criar relatório" e uma nova tela deve aparecer
6. Escolha um nome para o seu relatório
7. Escolha os horários de início e término para o período de avaliação
8. Selecione "Criar relatório"

Em seguida, o nome do relatório deve aparecer na tabela de relatórios abaixo. A criação de uma avaliação de recursos é um processo de execução prolongada, em que o tempo de conclusão depende do volume de dados enviados ao Personalizador durante o período de avaliação. Enquanto o relatório estiver sendo gerado, a coluna Status indicará "Em execução" para sua avaliação e será atualizada para "Êxito" após a conclusão. Verifique periodicamente para ver se a avaliação foi concluída.

Você pode executar várias avaliações de recursos em vários períodos em que o recurso do Personalizador tem dados de log. Verifique se o período de retenção de dados está definido por tempo suficiente para permitir avaliações em dados mais antigos.

Interpretação das pontuações da importância do recurso

Recursos com uma pontuação de alta importância

Os recursos com pontuações de maior importância foram mais influentes para o modelo durante o período de avaliação em comparação com outros recursos. Recursos importantes podem fornecer inspiração para a criação de recursos adicionais a serem incluídos no modelo. Por exemplo, se você vir que os recursos de contexto "IsWeekend" ou "IsWeekday" têm alta importância para compras de supermercado, os feriados ou fins de semana longos também podem ser fatores importantes, portanto, talvez você queira considerar a adição de recursos que capturem essas informações.

Recursos com uma pontuação de baixa importância

Recursos com pontuações de baixa importância são bons candidatos para análise posterior. Nem todos os recursos de baixa pontuação são necessariamente ruins ou não úteis, pois pontuações baixas podem ocorrer por diversos motivos. A lista abaixo pode ajudá-lo a começar a analisar por que os recursos podem ter pontuações baixas:

• O recurso era raramente observado nos dados durante o período de avaliação.

  • Se o número de ocorrências desse recurso for baixo em comparação com outros recursos, isso poderá indicar que o recurso não estava presente com frequência suficiente para o modelo determinar se ele é valioso ou não.

• Os valores do recurso não tinham muita diversidade ou variação.

  • Se o número de valores exclusivos para esse recurso for menor do que o esperado, isso poderá indicar que o recurso não variou muito durante o período de avaliação e não fornecerá insights significativos.

• Os valores do recurso eram muito barulhentos (aleatórios) ou muito distintos e forneceram pouco valor.

  • Verifique o Número de valores exclusivos na avaliação do recurso. Se o número de valores exclusivos para esse recurso for maior do que o esperado ou alto em comparação com outros recursos, isso poderá indicar que o recurso ficou muito barulhento durante o período de avaliação.

• Há um problema de dados ou formatação.

  • Verifique se os recursos estão formatados e foram enviados ao Personalizador da maneira esperada.

• O recurso pode não ser valioso para modelar o aprendizado e o desempenho se a pontuação do recurso for baixa e os motivos acima não se aplicarem.

  • Considere remover o recurso, pois ele não está ajudando o modelo a maximizar a recompensa média.

A remoção dos recursos com pontuações de baixa importância pode ajudar a acelerar o treinamento do modelo, reduzindo a quantidade de dados necessários para aprender. Ele também pode melhorar potencialmente o desempenho do modelo. No entanto, isso não é garantido e análises adicionais podem ser necessárias. Saiba mais sobre como criar recursos de contexto e ação.

Problemas comuns e etapas para melhorar os recursos

• Envio de recursos com alta cardinalidade. Recursos com alta cardinalidade são aqueles que têm muitos valores distintos que provavelmente não serão repetidos em muitos eventos. Por exemplo, as informações pessoais de uma pessoa específica (como nome, número de telefone, números de cartão de crédito, endereço IP) não devem ser usadas com o Personalizador.

• Envio de IDs de usuário Com um grande número de usuários, é improvável que essas informações sejam relevantes para o aprendizado do Personalizador a fim de maximizar a pontuação média de recompensa. O envio das IDs de usuário (mesmo que não sejam informações pessoais) provavelmente adicionará mais ruído ao modelo e não será recomendado.

• Os recursos são muito esparsos. Os valores são distintos e raramente ocorrem muitas vezes. Carimbos de data/hora que incluem o segundo podem ser muito esparsos. Ele pode se tornar mais denso (e, portanto, eficaz) agrupando os horários em "manhã", "meio-dia" ou "tarde", por exemplo.

As informações de localização normalmente também se beneficiam da criação de classificações mais amplas. Por exemplo, uma coordenada latitude/longitude como Lat: 47.67402° N, Long: 122.12154° O é excessivamente precisa e força o modelo a aprender a latitude e a longitude como dimensões distintas. Quando você está tentando personalizar com base nas informações de localização, é recomendável agrupar essas informações em setores maiores. Uma forma fácil de fazer isso é escolher uma precisão de arredondamento apropriada para os números de latitude/longitude e combinar a latitude e a longitude em "áreas", tornando-as uma cadeia de caracteres. Por exemplo, uma boa maneira de representar Lat: 47.67402° N, Long: 122.12154° O em regiões com alguns quilômetros de largura seria "location":"34.3, 12.1".

• Expandir conjuntos de recursos com informações extrapoladas Você também pode obter mais recursos pensando em atributos inexplorados que podem ser derivados das informações que você já tem. Por exemplo, em uma personalização de lista de filmes fictícia, é possível que pesquisas realizadas em fins de semana estimulem comportamentos de usuários diferentes daquelas realizadas em dias úteis? A hora pode ser expandida para ter um atributo "fim de semana" ou "dia útil". Os feriados culturais nacionais/regionais atraem a atenção para determinados tipos de filme? Por exemplo, um atributo "Dia das Bruxas" é útil em locais em que ele é relevante. É possível que o clima chuvoso tenha impacto significativo na escolha de um filme para muitas pessoas? Com a hora e o local, um serviço de meteorologia pode fornecer essas informações, e você pode adicioná-lo como um recurso extra.

Próximas etapas

Analise os desempenhos da política com uma avaliação offline com o Personalizador.