自監督與表徵學習

線性評估協定

線性評估協定是比較自監督方法的標準量尺。其程序刻意受限:取預訓練好的編碼器,凍結它所有權重使其不可改變,再僅在其凍結特徵之上、用一個有標籤資料集(如 ImageNet)訓練單一一個線性層(一個全連接層加 softmax)。回報的數字就是該線性分類器的準確率。由於骨幹被凍結,這個分數衡量的是「表徵本身已經多好」,而非「網路能多會適配」。

其邏輯是:單一線性層只能畫出平直的決策邊界,因此唯有當預訓練特徵已把資料組織成線性可分的群集時才可能成功。所以高的線性探測準確率,等於認證了表徵自己已完成了困難的語義工作。它也便宜且可重現,只訓練線性層,這正是它成為此領域預設排行榜指標的原因,也說明了為何對比方法(明確以可分嵌入為最佳化目標)在它上面往往表現亮眼。

關鍵的但書是:線性探測只衡量一個特定性質,即線性可分性,因而可能嚴重錯排那些強項在別處的方法。標準範例是 MAE:它在線性探測下分數平平,全面微調後卻勝過對比方法,因為它的特徵雖豐富,卻沒有為「單一線性切割」而排列。因此實務上會以 k 近鄰評估(同樣凍結,但非線性)、端到端微調,以及遷移到偵測與分割來補足線性探測,讓任何方法都不致僅憑一個可能誤導的數字被評判。

又稱
linear probinglinear probe