SimCLR（對比學習框架）

SimCLR 是一套乾淨、去蕪存菁的配方，證明了對比式自監督不靠任何架構花招就能比肩監督式預訓練。核心想法是：取一張影像，做出兩個經強增強的副本，教網路認得這兩個視圖屬於同一夥，而批次中其他每張影像都是要被推開的陌生人。完全不用標籤——監督訊號全來自「兩個裁切來自同一張照片」這個事實。

每個視圖先過編碼器，再經一個小型兩層投影頭，映射到施加對比損失的空間。嵌入會做 L2 正規化，使相似度成為餘弦值；NT-Xent 損失是對「餘弦相似度除以溫度」的 softmax：正樣本對在分子，批次中其餘 2N−2 個樣本作為負樣本在分母。關鍵在於：強增強策略——隨機裁切、色彩抖動與高斯模糊一起用——以及能提供大量負樣本的大批次，才是它奏效的原因。

兩項發現成了標準作法。其一，投影頭在下游應使用時應丟棄：它前一層才是好得多的表徵，因為投影頭吸收了損失所要求的各種不變性。其二，對比學習比監督學習更受惠於大批次與長訓練，因為負樣本集合的品質會隨批次大小而提升。