侷限、幻覺與風險

規模化的錯誤資訊(misinformation at scale)

單獨來看,一次幻覺只是一個錯誤。系統性的風險,出現在「模型讓製造有說服力的假內容幾乎變得免費」的時候。從前要花一個人好幾小時的事——一篇似真的假文章、一則捏造的評論、一波口徑一致的洗版留言、一段深偽(deepfake)腳本——如今可以在幾分鐘內成千上萬地生成出來,每個版本都流暢又量身訂做。錯誤資訊過去的瓶頸是「人力」,而這個瓶頸如今大半已經消失。

這改變的是威脅的「種類」,而不只是「程度」。低品質的機器文字會污染那片未來模型賴以訓練的網路本身,形成一個錯誤被當成訓練資料反覆回收的回饋迴圈。信任還會以第二種方式崩解:一旦任何東西都能廉價偽造,真實的證據也更容易被當成假的而被駁回。這裡沒有乾淨的技術解——防禦橫跨來源溯源與浮水印、平台審核、以及老派的查證出處——所以一個健康的預設,是把沒有出處的網路內容,在被證明之前一律當成「未經查證」。