評估、穩健性與倫理

對抗樣本

對抗樣本是一種被刻意以極微小、往往肉眼不可見的幅度動過手腳的輸入,使模型自信地給出錯誤答案,儘管人類看不出任何變化。最著名的例子:拿一張網路能正確分類的熊貓照片,加上一層淡到看不見、但經精心計算的雜訊圖樣,同一個網路便會以 99% 的信心宣稱它是「長臂猿」。那張影像在你眼中仍然完完全全是熊貓。這令人不安,因為它顯示模型對「熊貓」的概念並非人類的概念——它倚賴的是一個微小推力就能擊破的脆弱模式。

為了把「微小」講精確,這個擾動被限制在某個範數下很小。最常見的是 L-無窮界:每個像素至多改變 ε(epsilon),一個像在 0–255 尺度上 8/255 的小數,因此沒有任何單一像素明顯位移。其他威脅模型使用 L2(總能量小)或 L0(改動的像素很少,如貼片或貼紙攻擊)。在該預算內,攻擊者尋找能最大化模型損失的擾動——形式上,找出 ‖δ‖ ≤ ε 的 δ,使分類器在輸入 x + δ 上錯得最離譜。這個限制讓變化不可察覺;這個最佳化讓它有效。

模型為何如此脆弱?主流解釋(Goodfellow 等人,2015)是深度網路在高維輸入空間中行為過於線性:許多微小的逐像素變化,各自微不足道,卻沿著梯度方向同調地累加,造成輸出 logits 的巨大變化。第二種互補的觀點(Ilyas 等人,2019)認為模型抓住了「非穩健特徵」——資料中真正具預測力、卻為人類所不可察覺的統計線索——因此對抗樣本並非臭蟲,而是模型在利用「在乾淨資料上能類化、卻在擾動下翻轉」的脆弱訊號。

對抗樣本不是實驗室裡的奇談。它們會跨模型轉移(在某一網路上製作的攻擊往往能騙過另一網路,使「不需存取目標的黑箱攻擊」成為可能);它們能在列印與重新拍攝後存活(對抗式停車標誌與貼紙能騙過真實相機);它們也從分類延伸到偵測、分割、乃至大型視覺語言模型。它們對安全(人臉辨識、自動駕駛、內容審核、惡意程式/視覺過濾器)至關重要,也是一個科學探針:它們的存在揭示了「高測試準確率並不等於與人類一致的理解」,這正驅動了整個對抗穩健性領域。

乾淨影像 x 被分類為「熊貓」(信心 57.7%)。加上擾動 ε·sign(∇ₓ J),其中 ε = 0.007(每個像素位移不到 2/255)。結果 x' 在視覺上完全相同,卻被以 99.3% 的信心分類為「長臂猿」——這就是經典的 FGSM 熊貓範例。

又称
adversarial perturbationadversarial attack input