Introdução
Podemos avaliar nossos modelos de classificação em termos dos tipos de erros que eles cometem, como falsos negativos e falsos positivos. Isso pode fornecer insights sobre os tipos de erros que um modelo comete, mas não fornece necessariamente informações detalhadas sobre como será o desempenho dele se pequenos ajustes forem feitos nos critérios de decisão. Aqui, você compreenderá as curvas ROC (características de operação do receptor), que se baseiam na ideia de uma matriz de confusão, mas fornecem informações mais detalhadas que ajudam a aprimorar o nível dos modelos.
Cenário:
Neste módulo, usaremos o cenário de exemplo a seguir para explicar e praticar o uso das curvas ROC.
Sua instituição de caridade para resgate em avalanches criou com êxito um modelo de machine learning capaz de estimar se um objeto detectado por sensores leves é uma pessoa ou um objeto natural, como uma árvore ou pedra. Isso permite acompanhar o número de pessoas na montanha, de modo que você saiba se uma equipe de resgate é necessária em caso de avalanche. O modelo tem um desempenho razoavelmente bom, embora você se pergunte se há espaço para aprimoramento. Internamente, o modelo precisa tomar uma decisão binária sobre se um objeto é um caminhante ou não, mas isso se baseia em probabilidades. Esse processo de tomada de decisão pode ser ajustado para aprimorar o desempenho dele?
Pré-requisitos
- Familiaridade com modelos de machine learning
Objetivos de aprendizagem
Neste módulo, você vai:
- Entender como criar curvas ROC.
- Saber avaliar e comparar modelos usando essas curvas.
- Praticar o ajuste de um modelo usando características plotadas em curvas ROC.