線性探測 (linear probing)

線性探測是一套用來評估某個凍結特徵表徵有多好的流程。你取一個預訓練網路,凍結它所有的權重,在它倒數第二層的特徵之上接一個全新的線性分類器,然後只在目標資料集上訓練這一個線性層。由於唯一可訓練的部分是一個權重與偏置的矩陣,你得到的準確率就直接衡量了:在骨幹網路所產生的表徵中,各類別本來就有多麼線性可分。

它是自監督與表徵學習中的主力評估方式,因為這些方法的整個重點就是在沒有標籤的情況下學特徵,然後問這些特徵到底有多有用。高的線性探測準確率代表該表徵已把相關的語意結構組織進線性邊界能夠利用的方向中。由於骨幹網路被凍結,線性探測快速、便宜且可重現,並把表徵品質與「同時也在調特徵」這個混淆因素隔離開來。

線性探測位於一個光譜的一端,其另一端是完整微調(更新所有權重)。探測在絕對準確率上通常較低,但它是對表徵更公平、變異更小的比較,在小資料集上遠不易過度擬合,也不會讓一個強力最佳化器去掩飾一個孱弱的骨幹。線性探測與微調準確率之間的差距,本身就透露了這些特徵還需要多少針對任務的調適。