讀注意力與 logit lens

把 head 看成小小的路由程式

多頭注意力 讓每一層有好幾個 head，而一個反覆出現的發現是：個別 head 會分工。解釋一個 head（attention head interpretation）的意思，是搞清楚它把資訊從「哪些」token 搬到「哪些」token、又複製了什麼。有些 head 追蹤語法（動詞關注它的主詞）、有些把罕見 token 往前複製、有些關注前一個 token、有些關注序列開頭的位置。這些 注意力 head 角色 的目錄，是 transformer 裡最容易讀懂的部分之一——部分原因是注意力模式很容易視覺化。

歸納 head：模型如何在上下文中學習

最著名的例子是 歸納 head（induction head）。給定一段包含「…[A][B]…[A]」的序列，歸納 head 會注意到前面的 [A][B] 配對，並在第二個 [A] 之後再次預測 [B]。白話說：它會補完「在同一段提示裡」稍早看過的模式。一對協同運作的 head——一個前一個 token head 餵給一個歸納 head——實作了這個「複製接續」的演算法，而它在訓練中浮現的時點，正好對上模型上下文能力的一次躍升。

歸納 head 的意義不只是一個可愛的把戲：在更廣義的 歸納 head 文獻中、跨模型研究的同一套機制，是「上下文學習」本身的主要機制候選——也就是從提示裡幾個範例就學會某種格式或任務的能力。這是迄今為止，用一個有命名、可重用的電路解釋一項高層能力最清楚的案例。

看見——並懷疑——注意力模式

head 很容易「看」：把注意力權重畫成一張「哪個 token 關注哪個 token」的格子圖，模式就跳出來了——前一個 token head 是對角線、停在開頭位置的 head 是垂直條紋。這種 注意力模式視覺化（attention pattern visualization）是對某個 head 的工作形成假設最快的方法。但它「只是」假設。鮮明的模式顯示一個 head「看」哪裡，而不是那次查找是否「改變了輸出」；反對 把注意力當解釋 的警告在這裡完全適用。

logit lens：偷看每一層

因為殘差流是相加的（殘差流分析），「任何」一層的隱藏狀態都活在和最後一層讀取的同一個空間裡。logit lens（logit 透鏡）利用了這點：把模型最後的解嵌入（unembedding）套到某個中間隱藏狀態上，讀出它此刻偏好哪些 token。在每一層都這樣跑一次，你就能看著一個預測「成形」——早期各層模糊地猜、中間各層鎖定某個主題、後期各層收斂到確切的字。這是個一行就能做的診斷，把網路的深度變成一條時間軸。

logit 透镜在最终词表基底中读取任意层的残差状态：先做层归一化，再乘以反嵌入矩阵，最后取 softmax。

# Logit lens: decode each layer's residual as if it were the last
for L in range(num_layers):
    h = residual[L][:, -1, :]          # hidden state at the final position
    logits = unembed(final_norm(h))     # reuse the model's output head
    print(L, top_token(logits))         # how the guess evolves with depth