O que é Matriz de Confusão?

A Matriz de Confusão é uma tabela onde facilmente identificamos todos os quatro tipos de classificação do modelo de classificação binário (isto é, com apenas dois valores distintos na variável resposta). Com ela, facilmente podemos calcular valores como acurácia, especificidade, sensibilidade, etc. 


A predição é a resposta do modelo sobre a qual classe pertence uma observação, baseado nos valores de suas variáveis explicativas. No caso de uma classificação binária, essa predição pode ter dois valores: 0 ou 1, referente a classe negativa e positiva do modelo, respectivamente.

Já o valor de referência é o valor verdadeiro da variável-resposta de uma observação. Para testar a performance do modelo, comparamos a predição com a referência das observações nas bases de validação e teste. Se o valor de predição é igual ao valor de referência, dizemos que o modelo acertou. Se for diferente, dizemos que o modelo errou.

Na diagonal principal (os quadrantes (1, 1) e (2, 2)) podemos ver os acertos do modelo e na diagonal secundária (os quadrantes (2, 1) e (1, 2)) podemos ver os erros do modelo.

Na tabela acima, temos a comparação do valor previsto pelo modelo com o valor real de uma observação. Como os nomes sugerem:

  • Verdadeiros Positivos (TP) são observações cujo valor real é positivo e o valor previsto é positivo, isto é, o modelo acertou
  • Verdadeiros Negativos (TN) são observações cujo valor real é negativo e o valor previsto é negativo, isto é, o modelo acertou
  • Falsos Positivos (FP) são casos em que o resultado correto é negativo entretanto o resultado obtido é positivo, isto é, o modelo errou
  • Falsos Negativos (FN) são casos em que o resultado correto é positivo entretanto o resultado obtido é negativo, isto é, o modelo errou

Métricas

Acurácia, Sensibilidade e Especificidade se referem a métricas de avaliação dos modelos, queremos olhá-las para checar quão bem o modelo está fazendo as classificações. Quanto melhor o modelo, mais altos são os valores dessas métricas.

  • Acurácia: é a proporção de acertos do modelo. Para calculá-la, pega-se o número total de observações que o modelo acertou e divide-se pelo número total de observações que o modelo previu.
  • Sensibilidade: também chamada de recall, é a proporção de casos positivos que foram identificados corretamente. Para calculá-la, toma-se o número de observações que o modelo classificou como positivos corretamente (verdadeiros positivos) e divide-se pelo número total de observações com rótulo positivo (verdadeiros positivos + falsos negativos).
  • Especificidade: é a proporção de casos negativos que foram identificados corretamente. Para calculá-la, toma-se o número de observações que o modelo classificou como negativos corretamente (verdadeiros negativos) e divide-se pelo número total de observações com rótulo negativo (verdadeiros negativos + falsos positivos).
  • Valor de previsão positivo/negativo: em um problema de classificação binário, as observações pertencem a duas classes, que podem ter quaisquer nomes (bom ou mau, sim ou não, 0 ou 1). No momento do treinamento, essas categorias são sempre codificadas como 0 ou 1, de modo que nos referimos às observações com rótulo 0 como sendo a classe negativa, e as observações com rótulo 1 como sendo a classe positiva. Portanto, quando o modelo diz que uma observação tem valor 0 na variável-resposta, dizemos que esse é um valor de previsão negativo, e quando o modelo diz que uma observação tem valor 1 na variável-resposta, dizemos que esse é um valor de previsão positivo.