安全、越獄與紅隊測試

安全與有用性的權衡(safety vs helpfulness tradeoff)

每一個安全決策都坐在一個有「兩種出錯方式」的旋鈕上。把它轉向謹慎,模型更安全,卻會開始拒絕正當請求——詢問用藥劑量的護理師、塑造反派的小說家、除錯資安程式碼的開發者。把它轉向有用,這些使用者被服務了,但那種罕見、真正有害的請求也跟著漏過去。沒有哪一個設定能在兩邊都完美;收緊一種錯誤,通常就放鬆了另一種。

它之所以是個真正的權衡、而非一個待修的工程臭蟲,是因為有害與無害請求無法僅憑文字乾淨地分開。一個關於毒物的問題,可能來自憂心的家長,也可能來自下毒者;一個索取惡意程式的請求,可能是資安課,也可能是一場攻擊。因為模型只能從字面推測意圖,任何「抓到更多壞案例」的門檻,也會抓到更多好案例;而線該畫在哪,是一項隨產品、文化與法律而異的價值判斷,不是模型能直接算出的事實。

實務上,團隊並不追求某個神奇的點,而是設法把整條曲線往外撐——用更好的分類器與更清楚的政策,同時降低兩種錯誤——再依脈絡選擇要坐在剩下曲線的哪個位置。一個面向經審核企業使用者的程式工具可以偏向有用;一個面向大眾(包括未成年人)的通用助理則偏向謹慎。明確地同時量測「過度拒絕」與「拒絕不足」、而非只優化一邊、忽視另一邊,才是讓這個平衡保持誠實的辦法。

只報告一個拒絕率,藏起了一半的真相——若旁邊沒有一個「無害請求被誤拒」的數字,你分不出那是安全還是沒用。

又称
over-refusal vs under-refusalhelpful-harmless tension