結構性風險(structural risk)
有些傷害無法歸咎於任何單一壞掉的零件,也無法歸咎於任何單一壞人。交通壅塞、金融崩盤、軍備競賽,都是許多行為者各自在其誘因下做出合理行為,卻共同產生了糟糕的整體結果。AI 的結構性風險就是這種形狀的傷害:它來自 AI 如何改變社會的誘因、權力平衡與競爭動態,即使每一個個別系統都依預期運作、也沒有人懷有惡意。它是標準三類中的第三類,超出了意外(非預期失敗)與誤用(蓄意傷害)的範疇。
在這裡,危險住在「行為者所構成的系統」之中,而不在某一個模型裡。想想競賽動態:如果好幾家實驗室或國家都害怕落居第二,每一方都有誘因去更快部署、在安全上偷工減料,於是競爭本身就抬高了所有人的風險,卻找不到單一一方可以歸咎。其他例子還包括:經濟或政治權力逐漸集中到「掌控最強 AI」的人手裡;當合成媒體淹沒資訊空間時,人們對「什麼是真的」的共識被侵蝕;或者關鍵機構在不知不覺中,變得依賴沒有人能完全理解的系統。每一個個別步驟看起來都可能在局部上合理,整條軌跡卻在集體上有害。
結構性風險是三者中最難處理的,因為沒有單一裝置可修、也沒有單一壞人可阻止;解方必然有一部分必須是社會與制度性的。這正是 AI 治理、算力治理,以及國際協調與差異化科技發展這類想法的主場,它們試圖改變誘因,好讓「更安全的選擇」同時也在競爭上站得住腳。它也是最容易被「純技術性安全工作」忽略的類別,這正是為什麼許多人主張:技術途徑與治理途徑必須一起推進。
好幾家公司各自判斷:停下來徹底測試會讓對手搶先上市,於是大家全都選擇快速發布。每一個決定在個別上都是理性的,整個領域卻最終陷入「測試不足、暴露過度」的局面。沒有人「選擇」了這個結果;它是從競爭結構中冒出來的,這正是結構性風險的本質。
即使每個行為者都表現得合理,誘因仍能造成集體傷害。
結構性風險正因為沒有單一禍首而容易被忽略,而針對個別模型的技術修補也碰不到它。處理它高度仰賴治理與協調,這也是為什麼它往往是最難取得進展的類別。