評估與指標
AUC（曲線下面積）
/ AY-yoo-SEE /
AUC——曲線下面積（area under the curve）——把整條ROC曲線濃縮成一個數字：它下方那塊面積的大小。由於ROC曲線住在一個1×1的方框裡，AUC的取值從0到1。一個完美的分類器得1.0；純靠瞎猜得0.5；而低於0.5的分數，意味著模型竟然比拋硬幣還差（這往往是個信號：你把標籤搞反了）。
它有一個很美的大白話含義。AUC是這樣一個機率：如果你隨機挑出一個真正的正例和一個真正的反例，模型給正例打的分高於給反例打的分，這件事發生的可能性。AUC等於0.85，意味著它有85%的時候排序排對了。所以AUC衡量的是排序品質——模型把兩個類別分開的本事——而與你把判定閾值設在哪裡無關。
這種「與閾值無關」既是它的魅力，也是它的侷限。AUC便於一眼比較多個模型，而不必先承諾一個切分點。但它對「模型的分數是不是校準良好的機率」隻字不提，而且在稀有事件問題上，即便模型在實際中幾乎沒用，它也可能穩穩地保持得高高的。對於不平衡的數據，精確率-召回率曲線下的面積（PR-AUC）通常是更誠實的概括。
兩個信用模型：A的AUC為0.78，B為0.81。B在「隨機一個按時還款者排在隨機一個違約者之上」這件事上略微更頻繁，說明它是更好的區分器——但要真正用它，你仍得挑一個閾值，並在那個閾值處檢查精確率和召回率，然後才好上線。
AUC給模型排座次，但要真正部署一個，你仍得自己挑一個閾值。
「AUC」預設指ROC曲線下的面積，但人們也會把精確率-召回率曲線下的面積叫AUC。這是兩個不同的數字，各有所長——在不平衡數據上它們可能給出截然不同的結論。一定要確認對方說的是哪條曲線。
又稱
另見