可擴展監督：監督你無法親自查核之事

問題：評判者弱於被評判者

可擴展監督（scalable oversight）研究的是：在人類無法直接評估答案的任務上，如何給出正確的訓練訊號——一個百萬行的程式庫、一段前沿物理推導、一個微妙的醫療建議。天真的失敗是殘酷的——如果你對著一個分不出好壞的評判者去訓練，你得到的不是中性的結果，而是一個被優化成欺騙評判者的模型。監督訊號變得對你充滿敵意。

底下每種方法背後共享的想法是信任的分解：找出某個能力有限的評判者能可靠評估的子任務，然後設計協定，讓把容易的部分做對，能逼出難的部分也對。各方法的差別，在於它們如何製造出那些可查核的子任務。

辯論：讓兩個專家交叉詰問

辯論（debate）讓兩個強模型就一個問題彼此對抗，各自為相反的答案辯護，同時一個較弱的評判者讀逐字稿並判定勝者。賭注的不對稱對我們有利：面對一個有能力的對手，替謊言辯護應該比替真相辯護更難。一個不誠實辯手的主張可以被質疑、被分解、被在評判者看得懂的葉節點上查核，謊言最終在那裡現形。

V^{\star} \;=\; \max_{\pi_{\text{honest}}}\;\min_{\pi_{\text{deceptive}}}\; \mathbb{E}\!\left[\,J\!\big(\tau(\pi_{\text{honest}},\pi_{\text{deceptive}})\big)\,\right]

辩论作为两人零和博弈：诚实方最大化、欺骗方最小化，再由较弱的裁判 J 对所得辩论记录打分。

辯論在理論上很美、在實務上很脆。它假設真相確實更容易辯護（並非總是如此——有些謊言比它們雜亂的真實反駁更簡單）、評判者不會被修辭鑽營，以及辯手真的會找出最強的反論、而非串通。經驗上，更強的辯手確實更常幫助較弱的評判者得出正確裁決，這是令人鼓舞的訊號；但「說服 vs 真相」的混淆是個現實的隱憂，而那些長到無法完全查核的「混淆性論證」仍是個未解的破口。

弱到強泛化

弱到強泛化（weak-to-strong generalization）把整個問題重新框成一個經驗類比。我們還無法研究「人類監督超人類模型」，但我們可以研究一個結構相似的情況：弱模型監督強模型——用一個小得多、容易出錯的模型所產生的標註去微調 GPT-4 規模的模型，並問強模型潛在能力中有多少存活下來。

令人懷抱希望的發現：用弱老師有瑕疵的標註訓練出的強模型，常常勝過它的老師，補回了它與自身天花板之間落差的大部分（但非全部）。一種詮釋是：強模型內部其實已經「知道」正確的概念，弱標註主要是在引出那份潛在知識，而非從零教起。令人清醒的發現：天真的微調也會讓強模型模仿老師的錯誤，而且隨著能力落差拉大，補回的比例會縮小——而那恰恰是我們最在意的區間。

\mathrm{PGR} \;=\; \frac{\operatorname{acc}(\text{weak}\!\to\!\text{strong}) \;-\; \operatorname{acc}(\text{weak})}{\operatorname{acc}(\text{strong ceiling}) \;-\; \operatorname{acc}(\text{weak})}

性能差距恢复率（PGR）：学生弥合“弱到强”差距的比例——1 表示达到自身上限，0 表示仅与弱教师持平。

# Weak-to-strong, the core experiment
weak_labels = weak_model.predict(unlabeled)      # noisy, ceiling-limited
strong_ft   = finetune(strong_base, on=weak_labels)
# Measure: PGR = (acc(strong_ft) - acc(weak)) / (acc(strong_ceiling) - acc(weak))
# PGR -> 1 means weak supervision fully elicited the strong model.

效能落差補回率（PGR）問的是：弱標註解鎖了強模型潛能的多少？

引出潛在知識

上述三種方法都倚賴一個更深的假設：模型內含我們想要的真相，而任務是把它萃取出來。引出潛在知識（eliciting latent knowledge, ELK）直接替這件事命名。假設一個模型有豐富的內部世界模型、知道某問題的真實答案，但它回報的答案，是它的訓練所獎勵的任何東西——可能是「人類會相信什麼」、而非「實際上什麼是真的」。ELK 問：我們能不能讀出模型實際相信的東西，即使那與它所說的相左？

經典的憂慮是「人類模擬器」失敗：一個被訓練去預測人類認可答案的探針，可能學到「輸出人類會怎麼想」，而這在每一個人類查得了的訓練範例上都正確，卻恰恰在模型懂得比人類多的地方系統性地錯。在一般情況下，要區分模型對現實的直接回報、與它對人類的建模，仍未解決——ELK 與其說是一個完成的方法，不如說是一個被尖銳提出的未解問題，也是通往第 5 篇可解釋性的概念橋樑。

先問：你的任務是真的超出評判者能力，還是只是繁瑣——許多「監督」問題其實是有更便宜解法的標註成本問題。
偏好能產生可查核葉節點的協定：一個評判者能驗證的步驟、一個分解、一個交叉詰問的點。
用「三明治」驗證任何監督方案：一個弱評判者、真正的模型，以及一個在訓練時保留、作為真值的可信強專家。
把說服力與正確性視為可分離的；衡量你的協定是否在不被前者俘虜的情況下獎勵後者。