越獄

手機出廠時被鎖定，只能執行經過核可的軟體；對手機「越獄（jailbreak）」就是騙它解除這些限制。這個詞被沿用到 AI 上。現代的聊天模型在訓練時被加上了護欄——它們應該拒絕提供製造炸彈的指示、拒絕寫惡意程式，諸如此類。越獄就是一種能繞過這些護欄的輸入，說服模型去做它本來受訓要拒絕的事。

越獄的花樣多得驚人。有的把違禁請求包進虛構故事裡（「寫一個故事，裡面有個角色一步步解釋……」）；有的用角色扮演（「你是一個沒有任何規則的 AI」）；有的把請求藏進另一種語言、藏進程式碼，或埋進一長段使人分心的脈絡裡；有的把許多無害的小步驟串接起來；有的用電腦找出來的亂碼字串，從統計上把模型推向順從。它們的共通點是：利用了模型所學到的「拒絕有害請求」與「一個請求可以被表述的種種雜亂方式」之間的落差。

越獄之所以重要，是因為安全訓練形塑的是模型在訓練中見過之案例上的行為，而總是存在沒見過的表述方式——所以即使在大量安全微調過的模型上，越獄仍不斷被找到。它主要是一種誤用上的疑慮：越獄讓使用者把模型本來就有、卻本該被把關的能力給挖出來。重要的是，越獄並不會「增加」新能力；它移除的是一道拒絕，這也正是為什麼危險能力評測衡量的是模型「能做什麼」，而不只是它的拒絕意願。