Introdução
Podemos avaliar nossos modelos de classificação em termos dos tipos de erros que eles cometem, como falsos negativos e falsos positivos. Isso pode fornecer informações sobre os tipos de erros que um modelo comete, mas não necessariamente fornece informações profundas sobre como o modelo poderia se comportar se pequenos ajustes fossem feitos em seus critérios de decisão. Aqui, discutiremos as curvas ROC (receiver operator characteristic), que se baseiam na ideia de uma matriz de confusão, mas nos fornecem informações mais profundas que nos permitem melhorar nossos modelos em maior grau.
Cenário:
Ao longo deste módulo, usaremos o seguinte cenário de exemplo para explicar e praticar o trabalho com curvas ROC.
Sua instituição de caridade de resgate de avalanches construiu com sucesso um modelo de aprendizado de máquina que pode estimar se um objeto detetado por sensores leves é um caminhante ou um objeto natural, como uma árvore ou uma rocha. Isso permite que você acompanhe quantas pessoas estão na montanha, para que você saiba se uma equipe de resgate é necessária quando uma avalanche ocorre. O modelo se sai razoavelmente bem, embora você se pergunte se há espaço para melhorias. Internamente, o modelo deve tomar uma decisão binária sobre se um objeto é um caminhante ou não, mas isso é baseado em probabilidades. Este processo de tomada de decisão pode ser ajustado para melhorar o seu desempenho?
Pré-requisitos
- Familiaridade com modelos de aprendizagem automática
Objetivos de aprendizagem
Neste módulo, irá:
- Entenda como criar curvas ROC.
- Explore como avaliar e comparar modelos usando essas curvas.
- Pratique o ajuste fino de um modelo usando características plotadas em curvas ROC.