JOVANA
Library Glossary Getting Started Three Levels Fields How it works Mission
Join the mission
All guides

不實資訊、深度偽造與雙重用途

如今的生成模型可以按需編造出以假亂真的人臉、聲音與故事。本指南拆解合成媒體的運作原理、為何規模放大了威脅,以及來源溯源等緩解手段真正能做什麼、不能做什麼。

合成媒體究竟是什麼

深度偽造不過是媒體——一張臉、一段聲音、一段影片——由模型生成或竄改,而非從現實世界錄製而來。你在前面的階梯裡已經見過它的機理:生成對抗網路讓一個生成器與一個評判器對抗,直到偽造品騙過評判器;而現代的影像與影片工具則依賴擴散模型,它學會一步步把雜訊變成逼真的樣本。語音複製與文字用的是同一類基礎模型,正是你在大型語言系統中看到的那一族。

並非所有合成媒體都有害——遠非如此。同樣的工具能把電影配成十幾種語言,能為失聲的人合成出嗓音,還能生成合成資料來訓練其他模型而不暴露真實紀錄。這種編造在道德上是中性的;問題始於一段偽造品被冒充成對從未發生之事的真實紀錄。

為何規模改變了一切

偽造的照片與宣傳比電腦還要古老。新出現的是規模與門檻。一段有說服力的偽造品,從前需要一支熟練團隊耗時一週,如今只需一句提示詞與一分鐘,而製作一萬個變體幾乎不花錢。這正是規模化不實資訊的核心:瓶頸從*製造*謊言轉移到*散布*謊言,而這個瓶頸大體上已經消失。

規模還催生了新戰術。海量看似合理卻空洞的留言可以淹沒真正的討論;成軍的虛假人設可以製造出共識的假象;針對性的語音複製助長詐騙——一通用親人嗓音索要錢財的電話。研究者有時把這種更廣泛的效應稱為*騙子紅利*:一旦人們知道任何片段都可能是假的,一段真實而具有殺傷力的錄音就能被一句「不過是深度偽造」輕輕揮開。信任的侵蝕所造成的危害,可能超過任何單一的偽造品。

雙重用途:同一個模型,兩面性

雙重用途風險是一個令人不安的事實:一項有益的能力,往往*正是*那項可被用於作惡的能力——你無法乾淨俐落地保留其一、剔除其餘。一個流利到能給學生當化學家教的模型,憑著同樣的流利,也能引導惡意使用者去做危險之事。一台能恢復言語的語音合成器,也能讓人冒名頂替。能力與濫用同出一源。

正因如此,「乾脆別發布有害功能」很少是一個真正可行的選項。一旦一個強大的基礎模型存在,能力就會跨用途外溢,而微調可以把一個開放模型重新瞄準其製作者從未設想的方向。雙重用途讓安全從一個可撥動的開關,變成一場持續的權衡:給多少能力、給誰、在什麼護欄之下、以及具備多大的收回存取權限的能力。

保持誠實:雙重用途是一個真實、當下的問題,而非科幻。危險不在於一個「想要」作惡的模型——文字與影像生成器沒有目標。危險在於一個普通人,懷著普通的動機,卻被交到手裡一個非凡的放大器。這種表述能讓討論腳踏實地。

來源溯源:證明什麼是真的

最有希望的一條防線把問題反了過來。與其無望地試圖*偵測*每一個偽造品,來源溯源轉而試圖證明什麼是*真實的*。其思路是:在媒體被建立或編輯的那一刻,給它附上防竄改的元資料——是哪台裝置或哪個模型製作的、何時、改動了什麼——這樣觀看者可以核查這條保管鏈,而不必去瞇著眼盯像素。

具體而言,有兩種互補的技術承擔重任。*內容憑證*(C2PA 標準)用密碼學方式對一個檔案的來源與編輯歷史進行簽名。*浮水印*則把一個微弱、理想情況下難以去除的訊號嵌入到 AI 生成的輸出中,以便日後將其識別為合成內容。兩者合力,旨在讓真實的拍攝可被驗證、讓合成的來源得以披露。

Provenance, not detection:

  [camera/model] --sign--> media + signed metadata
         |                    (origin, time, edits)
         v
  [edit tool] ---re-sign--> updated chain of custody
         |
         v
  [viewer] --verify--> intact?  trust the source
                       broken?  treat with suspicion
來源溯源核查真實的鏈條,而不是去追逐每一個偽造品。

緩解手段及其誠實的局限

沒有任何單一的修復能解決這個問題;防禦是分層的。現實的工具箱把若干不完美的措施疊在一起,每一個都補上其他手段留下的部分缺口。

  1. 在源頭做溯源:內容憑證和對合成輸出加浮水印,讓來源資訊隨檔案一同傳播。
  2. 平台層面的摩擦:限速、為 AI 媒體加標籤,以及對協同偽造行動的快速下架。
  3. 在高風險決策中保留人在迴路——不要因單一未經核實的片段就採取重大行動。
  4. 監管與規範:像歐盟人工智慧法案這樣的規則,如今在許多場景下要求披露 AI 生成的內容。

對天花板要坦誠。偵測是一場注定落敗的軍備競賽:隨著生成器變強,今天那些露餡的瑕疵會消失,而用去年的偽造品訓練出的分類器會漏掉今年的。浮水印可以被裁剪、壓縮或截圖抹去。來源溯源只對攜帶憑證的檔案有用,而經過簽名的媒體仍可能呈現一個被剪裁誤導的*真實*事件。這些都是對風險實實在在的削減,而非徹底的解決——這正是為什麼倫理框架與法律把合成媒體當作一個需要長期治理的常設問題,而不是一個一次性就能修補的缺陷。

與合成媒體共處

退一步看,問題的形狀就清楚了。生成既廉價又在不斷進步;完美的偵測不會到來。因此,持久的應對之道不是一個神奇的偵測器,而是習慣與基礎設施的轉變:對無來源的媒體預設保持懷疑,把溯源內建進我們使用的工具,由平台來減緩傳播,以及清晰的披露規則——這正是貫穿本階梯每個主題的那種技術、社會與法律槓桿的組合。

並要抵住兩個極端。末日論說真相已死、什麼都不可信;唱多論說更好的偵測器會悄悄把問題解決。兩者都不對。社會此前也消化過顛覆性的媒體技術——攝影、音訊剪輯、印刷術——靠的是在它們周圍長出新的規範與制度。合成媒體之所以更難,是因為它的速度與觸及範圍,但要做的功夫是同一種功夫:不是去尋找一個可撥動的開關,而是去搭建那些枯燥、分層的防禦,讓一個資訊生態系統得以保持可信。