維度崩潰

維度崩潰是完全崩潰的微妙表親。完全崩潰時，模型把每個輸入都映射成同一個向量——很容易察覺，因為效能歸零。維度崩潰時，嵌入在不同輸入間仍有變化，因此損失曲線甚至某些指標看來都很健康，然而所有變化都被困在嵌入空間的一個低維子空間裡；大多數方向根本不攜帶資訊。這個表徵暗地裡遠比它名義上的維度小。

診斷方式是看嵌入共變矩陣的奇異值譜：若許多奇異值近乎為零，嵌入就活在一張薄片上而非填滿空間。在對比與非對比自監督中，這出於數種原因——強增強可能抹掉區分影像的方向，優化中的隱式正則化也可能壓縮某些方向。這正是 Barlow Twins、VICReg 與白化所要對抗的失敗模式，因為它們的去相關與變異項會直接把奇異值譜推向平坦且滿秩。

實務教訓是：低訓練損失並非好表徵的證明。由於投影頭可在損失空間中遮掩崩潰，而底下的骨幹其實貧乏，誠實的做法是去監看特徵的秩或有效維度——而不只是看損失。