評估與指標

精確率(precision)

/ pruh-SIZH-un /

精確率回答的是一個很尖銳的問題:當模型說「是」的時候,它有多大比例是真的對的?想像一個垃圾郵件過濾器。在它扔進垃圾箱的所有郵件裡,有多少確實是垃圾?如果它往裡扔了50封,其中45封是貨真價實的垃圾,那麼它的精確率就是45/50=90%。被它誤刪的那5封真郵件,就是判錯的代價。

嚴格地說,精確率等於真正例的數量,除以模型判為「正」的全部——也就是真正例加上假正例。它只關心模型說「是」的那些預測,而不去管它沒動的那些。高精確率意味著誤報很少:它一舉手,你就可以信它。

當一次誤報代價高昂或令人厭煩時,精確率最重要。你希望垃圾郵件過濾器幾乎從不埋掉一封真郵件;你希望一項癌症確診檢測極少嚇到一個健康的人。但精確率只是故事的一半——一個模型可以靠著謹慎得離譜來拿到完美的精確率:只標出一個最明顯的例子,對其餘一切都閉口不言。要看清它漏掉了什麼,你必須把精確率和召回率配成一對來看。

一個模型把8筆交易標為詐欺。逐一調查後,其中6筆確實是詐欺,2筆是正常消費。精確率=6/8=75%。它的警報裡有四分之三值得去追查,另四分之一則浪費了調查員的時間。

精確率=在拉響的所有警報裡,真正屬實的那一部分。

精確率和召回率是此消彼長的。把模型調得只標更少、更有把握的案例,精確率會升,召回率會降;標得越積極,召回率升而精確率降。只報其中一個而不報另一個,是讓模型顯得比實際更好的一種經典手法。

又稱
精确率精確率查准率positive predictive valuePPV