Autor(es): Melo, André Pestana Sampaio e
Data: 2011
Identificador Persistente: http://hdl.handle.net/10362/8293
Origem: Repositório Institucional da UNL
Assunto(s): Classificador Probabilista AP; Capacidade discriminante; Curva ROC; AUC; U Mann-Whitney; Regressão Logística; Redes Neuronais; Classificador MAP de Bayes; Capacidade preditiva; Capacidade de generalização
Dissertação apresentada como requisito parcial para obtenção do grau de Mestre em Estatística e Gestão de Informação.
Quando se avalia o poder discriminante de um determinado modelo (com variável dependente dicotómica) recorrendo à curva ROC, é usual representar-se no mesmo gráfico o “Modelo perfeito” e o “Modelo aleatório” enquanto limites teóricos (superior e inferior) à capacidade discriminante. O presente trabalho propõe o cálculo de um limite superior complementar, derivado dos dados e conceptualmente distinto do obtido via o “Modelo perfeito”. Este novo limite designar-se-á “Capacidade discriminante dos dados” utilizados no desenvolvimento do(s) modelo(s) e encontra-se associado ao modelo Classificador Probabilista AP (Probabilistic a Posteriori Classifier). A utilidade desta abordagem passa por permitir, numa vertente mais prática, a estimação a priori (antes do trabalho exaustivo de modelação propriamente dito) da qualidade potencial dos dados para endereçar o problema de previsão em questão, bem como ajudar na rápida triagem das variáveis mais promissoras a incluir no futuro modelo preditivo a desenvolver. Numa vertente mais teórica, esta abordagem possibilita uma avaliação e uma comparação da capacidade efectiva que diferentes modelos preditivos apresentam na captura da capacidade discriminante encerrada nos dados. Complementa-se os resultados teóricos com ilustrações empíricas obtidas a partir do ajustamento de duas metodologias distintas - Regressão Logística e Redes Neuronais – a dados de um ficheiro contendo informação sobre o comportamento creditício de 46,000 Clientes. Os resultados práticos tornam ainda evidente como se relaciona o “novo” limite com o tema do overfitting.
