災難性風險（catastrophic risk）

一個偶爾讓使用者出糗的工具，和一個在落入壞人手中、或在某個倒霉日子裡可能傷害數千人的工具之間，有著實質的差別。災難性風險指的就是這道光譜的高端：AI 系統助長極大規模危害的危險，其衡量單位是眾多人命、嚴重損害，或對社會的重大擾動。

更精確地說，災難性風險通常指那些尚不至於終結人類未來、但仍然嚴重的大規模危害，也就是緊鄰存在性風險之下的那一層。分析者常把途徑分為三類：誤用，即有人蓄意把 AI 用於危害（例如，一個 AI 實質協助一名非專家設計病原體，或發動大範圍的網路攻擊）；意外，即一個系統以非預期、不安全的方式行事，儘管無人有意造成危害；以及結構性風險，即 AI 悄悄以破壞穩定的方式重塑誘因與制度（例如透過大規模假訊息侵蝕信任，或把對手推進一場危險的軍備競賽）。一個單一事件不必「毀天滅地」才算數。

這個類別之所以重要，是因為它是許多前沿治理的實務焦點：危險能力評測、負責任擴展政策與資安要求，大致都瞄準災難性、而未必是存在性的危害。把兩者區分開來很值得：一場災難原則上可以復原，一場存在性災難則不行。門檻究竟該畫在哪裡（多少人命、多大損害）是一種判斷；而人們對於「當下、具體的誤用」與「臆測中的未來情境」的權衡，差異極大。