L’incohérence de l’aire sous la courbe ROC, que faire à ce propos?.David Hand.  La revue MODULAD, numéro 42, 2010.

Résumé
Différents critères sont largement utilisés pour évaluer la performance de règles de classement. L’un d’eux est l’aire sous la courbe ROC (AUC : the area under the curve). Cette mesure a l’agréable propriété de synthétiser la performance pour tous les seuils de classement possibles. Malheureusement, au cœur de l’AUC se trouve une distribution qui dépend de l’outil de classification dont la performance est évaluée, si bien que les estimations qui utilisent cette mesure sont fondamentalement incohérentes: c’est-à-dire qu’aucune comparaison ne peut être faite quand l’AUC est utilisé. Cette incohérence est examinée, ses implications sont présentées, et une alternative cohérente est décrite.

Mots clés 
Discrimination, aire sous la courbe ROC, performance de la discrimination, la mesure H

Abstract
Various different criteria are in widespread use for evaluating the performance of classification rules.  One of these is the area under the ROC curve (the AUC).  This measure has the attractive property that it summarises performance over all possible values of the classification threshold.  Unfortunately, at the heart of the AUC lies a distribution which depends on the classifier being evaluated, so that evaluations using this measure are fundamentally incoherent: like is not being compared with like when the AUC is used.  This incoherence is explored, its implications noted, and a coherent alternative is described

Key words 
Classification, area under the curve, ROC curve, classifier performance, H measure

Article