神經坍縮（neural collapse）

把一個分類器訓練到它早已達到零錯誤之後，進入所謂的末期階段，最後一層就會浮現一種驚人的幾何秩序。每一個類別中所有樣本的倒數第二層特徵，會坍縮到單一一點——該類別的平均——而這些類別平均本身又排列成最對稱的可能構型。原本雜亂的表徵雲，結晶成一副剛硬而優雅的骨架。

這個現象有四個相互耦合的性質。類內特徵變異性縮到零。各類別平均向量構成一個單純形等角緊框架，全部等長、兩兩夾角相等且最大。最後一層分類器的權重與那些平均對齊，呈現一種自對偶。而網路的決策退化為「最近類別平均」。這通常用無約束特徵模型來分析——它把最後一層特徵當作自由變數，並將單純形框架還原為最佳解。

神經坍縮為「訓練良好的分類器最終收斂到什麼」提供了一個乾淨、可量化的描述，並連結到泛化、可遷移性，以及類別不平衡之害——在那裡，這個對稱框架會被扭曲。