Bibliography

(eng): Receiver Operator Characteristic (ROC) analysis enables fine-tuning of a trained classifier to a desired error trade-off situation. ROC estimated from a single test set is, however, insufficient for the sake of classifier comparison as it neglects performance variances. This research presents a practical algorithm for variance estimation at individual operating points of ROC curves or surfaces. It generalizes the threshold averaging of Fawcett et.al. to arbitrary operating point definition including the weighting-based formulation used in multi-class ROC analysis. The statistical test of comparison of performance differences between operating points of the same curve is illustrated for two-class and multi-class ROC.

(cze): ROC křivka odhadnutá na základě jedné testovací množiny není postačující pro porovnání účinnosti klasifikátorů. V článku je navržen obecný algoritmus pro odhad ROC křivky a rozptylu v každém operačním bodě. Navržený algoritmus oproti algoritmu Fawcett et al . je aplikovatelný na libovolnou definici operačního bodu včetně definice používané pro ROC analýzu pro více než dvě třídy. Statistický test významnosti rozdílu mezi operačními body téže křivky je ilustrován pro klasifikaci do dvou a více tříd.