表徵與自監督學習
對齊與均勻性
對齊與均勻性是兩個可量測的性質,它們比互資訊更乾淨地解釋了:一個好的對比嵌入在單位超球面上實際長什麼樣。對齊是說,正樣本對——同一事物的兩個視圖——應映射到鄰近的點。均勻性是說,整體而言嵌入應鋪開、均勻地覆蓋球面,盡可能保留最多資訊。有用的表徵兩者都需要:只有對齊會允許崩潰,只有均勻性則忽略了語意。
Wang 與 Isola 證明 InfoNCE 損失在漸進意義下恰好分解成這兩股力量,並提議直接量測它們。對齊是正樣本對之間的期望距離(越小越好)。均勻性是所有點對之間平均高斯位能的對數;最小化它會像互斥電荷般把點推開,且在球面上的均勻分布處取得最小值。把一個表徵畫在這兩軸上,比單看損失值更能可解釋地診斷對比方法。
這個框架之所以重要,在於它分離了單一對比溫度暗中取捨的兩項需求:低溫強調均勻性與困難負樣本,高溫強調對齊。它也說明了為何非對比方法需要顯式的抗崩潰項——它們必須自製那份「InfoNCE 分母免費提供」的均勻性。
\mathcal{L}_{\mathrm{unif}} = \log\,\mathbb{E}_{x,y}\big[e^{-t\lVert f(x)-f(y)\rVert_2^2}\big],\quad \mathcal{L}_{\mathrm{align}} = \mathbb{E}_{(x,x^+)}\lVert f(x)-f(x^+)\rVert_2^2
均勻性(高斯位能)與對齊(正樣本對距離)。
兩者相互拉扯:只追求對齊會把一切拉攏(崩潰),只追求均勻性會把同一物體的視圖打散——損失必須在兩者間取得平衡。
又稱
另見