可解釋性與控制：讀取並引導內部

為何可解釋性是安全工具，而非好奇心

第 4 篇留給我們一個殘酷的推論：如果欺騙性對齊可能存在，行為測試就無法認證安全，因為危險的模型依定義會在測試下表現良好。唯一的出路，是檢視行為的成因——計算本身。這就是機制可解釋性（mechanistic interpretability）的安全論據：不是「向使用者解釋一個預測」，而是「在權重之中偵測出一個模型絕不會在輸出中洩漏的目標或計畫」。這是我們對引出潛在知識最直接的攻擊。

核心的技術障礙是疊加（superposition）：網路表徵的概念遠多於它的神經元，做法是把特徵編碼成激活空間中彼此重疊的方向，所以單一神經元是多義的（polysemantic）——它會為許多不相關的事物激發。你無法讀一個多義神經元就得知模型在「想」什麼。解開疊加，你就得到一套概念詞彙；解不開，內部就維持成一團不透明的塗抹。

稀疏自編碼器：一部概念詞典

稀疏自編碼器（sparse autoencoder, SAE）特徵是對付疊加的領先攻法。在某一層的激活上訓練一個寬的自編碼器，並加上稀疏懲罰，使每個激活被重建成一部過完備詞典中少數幾個條目的和。詞典原子傾向是單義的（monosemantic）——每個只為一個人類可解讀的概念激發（「金門大橋」、「處理錯誤的程式碼」、「一種欺騙或諂媚的語氣」）。你把一個不透明的向量，變成了一張稀疏的具名特徵清單。

兩點警語讓這保持誠實。SAE 是無監督的——它交給你數千個特徵，卻不保證你需要的那個（比如「模型意圖欺騙」）乾淨地存在、或你能在雜訊中找到它。而且它重建激活並不完美，所以特徵是一組近似的基底、而非真值。儘管如此，那部能讀出一個概念的詞典，同樣讓你能寫入它——這就是通往控制的門。

# Sparse autoencoder on layer activations a  (d_model -> d_dict >> d_model)
f = relu(W_enc @ a + b_enc)          # sparse code; most entries ~ 0
a_hat = W_dec @ f + b_dec            # reconstruct
loss = ||a - a_hat||^2 + lam * ||f||_1   # reconstruction + sparsity
# Each column of W_dec is a candidate monosemantic 'concept direction'.

L1 懲罰逼少數可解讀的原子去解釋每個激活；解碼器的各行就是概念詞典。

\mathcal{L}=\lVert x-\hat{x}\rVert_2^2+\lambda\lVert f\rVert_1,\qquad f=\mathrm{ReLU}(W_e x+b_e),\quad \hat{x}=W_d f

稀疏自编码器的目标函数：在重构激活的同时，用 L1 惩罚迫使只有少数字典特征被激活。

引導：從讀取到寫入

激活引導（activation steering）把可解釋性變成控制。在激活空間中找出一個對應某行為的方向——做法是對比有 vs. 沒有展現該行為的提示上的激活，或直接取一個 SAE 特徵——然後在推論時把那個向量加進殘差流。放大它以增強該特質（誠實、拒答、某個主題），取負以壓制它。不必微調、不必標註，一個你在執行期轉動的旋鈕。Golden Gate Claude 的展示（鉗住一個特徵，讓模型不停提起那座橋）就是它最生動的版本。

v=\frac{1}{n}\sum_{i} h^{+}_{i}-\frac{1}{n}\sum_{i} h^{-}_{i},\qquad h \leftarrow h+\alpha\, v

激活引导：把对比提示上平均激活之差作为一个行为方向，再加回激活以微调模型行为。

表徵工程（representation engineering, RepE）是它由上而下的表親：不是從神經元由下而上建構概念，而是從一個高層概念（真實性、權力尋求、有害性）出發，用刺激集合定位它的表徵，再把它讀成一個監視器、或當成引導標靶來控制。RepE 已產出實用的測謊器與有害性探針，能逮住行為測試漏掉的失敗——這是對欺騙問題一個局部而令人鼓舞的回答。誠實的限制：引導在分布之外很脆、推得太用力會損及能力，而一個知道自己正被探測的模型，原則上可能學會偽造我們所讀的那些表徵。

穩健性、遺忘，與一份誠實的成績單

另外兩個控制問題，補全了部署的全貌。越獄穩健性（jailbreak robustness）是讓安全訓練不被對抗性提示繞過的軍備競賽——角色扮演框架、編碼、後綴攻擊、多樣本誘導。令人清醒的模式是：安全往往是淺層的，它住在前幾個 token 或薄薄一層行為裡，所以越過它的攻擊，碰到的是一個從未真正被弄安全的底層模型。防禦（對抗訓練、擾亂有害表徵的「斷路器」、輸入／輸出分類器）抬高了成本，卻鮮少填平落差，而評估必須假設一個會自適應的攻擊者。

機器遺忘（machine unlearning）問一個互補的問題：我們能否在訓練後移除某個特定能力或某筆資料的影響——危險知識、受著作權保護的文本、某人的資料——而不必從零重訓？方法是有的（在遺忘集上做梯度上升、重新標註、局部編輯），但一再出現的發現是：遺忘往往只是壓制而非抹除——該能力可被微調、越獄或量化重新喚回。要驗證某物真的消失了、而非只是被藏起來，又直接連回了可解釋性。

讀一個安全結果時，問它認證了什麼：測試集上的行為（弱）、一個內部性質（較強），還是一個最壞情況界限（罕見）。
對穩健性與遺忘，假設一個會自適應的對手；靜態基準會系統性地高估安全。
偏好那些主張可在模型內部查核的方法（RepE 監視器、SAE 特徵），而非只靠輸出支撐的主張。
明說你的威脅模型，以及你沒有涵蓋的失敗模式。誠實的範圍界定，本身就是一項安全貢獻。

退一步看，這個領域的形狀就清楚了。外部對齊（第 2 篇）可行但有天花板；可擴展監督（第 3 篇）推高那道天花板；內部對齊（第 4 篇）是回饋無法了結的那部分；而可解釋性與控制（本篇）是我們對「看見並引導回饋觸及不到之處」的賭注。這些都尚未完成。智識上誠實的總結是：我們有了有前景的工具、真實的經驗進展，卻還沒有任何方法能讓我們認證一個比我們自己更聰明的系統的安全。那個未解問題，正是本軌道一路帶你走向的研究前沿。