評估與指標

精確率-召回率曲線(precision-recall curve)

/ pruh-SIZH-un ree-KAWL kurv /

和ROC曲線一樣,精確率-召回率曲線描繪的,是當你把分類器的判定閾值從嚴格滑向寬鬆時所發生的事。但它畫的,是當你要找的東西很稀有時你最常在意的那兩個量:縱軸是精確率(它說「是」時,有多大比例是對的),橫軸是召回率(在所有真實正例裡,它抓住了多少)。

把它當作一個關於妥協的故事來讀。設一個嚴格的閾值,你會非常精確但抓得很少(高精確率、低召回率——最左端)。放寬些,你抓得更多,卻也放進了更多誤報(召回率上升,精確率通常下垂——最右端)。一個強模型即便召回率上去了也能讓精確率保持得高,所以它的曲線一直靠在頂部附近。一個沒用的模型,它的曲線則平平地躺在基礎發生率的高度上——也就是「正例佔全部樣本的簡單比例」那條線。

為什麼寧可用它而不用ROC?因為它不包含真反例,所以不會被一大片容易的反例蒙騙。在千分之一的詐欺問題上,ROC可能看起來輝煌,精確率卻慘不忍睹;PR曲線會把那慘淡的精確率明明白白地擺出來。這就使得PR曲線,以及概括它的PR-AUC,在「正類稀有、誤報代價真實」時成為更誠實的選擇。唯一的小麻煩是:PR曲線的高度取決於基礎發生率,所以你不能在正例比例不同的數據集之間去比較PR-AUC。

在一個只有2%案例為正例的數據集裡,隨機模型的PR曲線平平地躺在精確率0.02的高度。一個有用的模型會把曲線遠遠抬到那條線之上。同一個模型的ROC曲線也許看著很棒,AUC高達0.9——而PR視角則揭穿了它真實精確率有多麼單薄。

在稀有事件數據上,PR曲線會暴露出被ROC掩蓋的薄弱精確率。

PR曲線上「無技巧」的基線,是一條位於正例基礎發生率高度的水平線,而不是ROC裡那條0.5的對角線。如果你的PR曲線幾乎只比那條平線高出一點點,那麼你的模型幾乎什麼有用的東西都沒學到——哪怕它的準確率看起來很高。

又稱
精确率-召回率曲线精確率-召回率曲線PR curvePR曲线P-R曲线