毀滅機率 p(doom)
/ P-doom /
在閒聊中，AI 研究者有時會直白地互相發問：「你的 p(doom) 是多少？」這是一個對「個人機率估計」的簡稱，也就是你認為先進 AI 導致災難，常特指人類滅絕或人類對自身的永久失控，的可能性有多高。可以把它讀作「毀滅的機率」，一個介於 0 到 1 之間（或以百分比表示）的數字，捕捉的是某一個人的相信程度。
需要理解的關鍵，是這是什麼「種類」的數字。p(doom) 並不是像降雨機率那樣、可以對照記錄查核的「量測頻率」。我們並沒有一份「被 AI 毀滅的文明」資料集可以清點。它是一種主觀的「信念度」：一個有見識的人，對一個前所未有、僅此一次的可能性，所做的「直覺加推理」的估計。人們對它的意思也各不相同，時間範圍多長、多糟的結果才算「毀滅」、指的是滅絕還是僅只是災難，因此兩個被說出口的 p(doom) 數字，甚至可能根本不是在量測同一個事件。
被報出的數值差異極大，從百分之一的微小零頭，到對少數人而言超過一半，而那個分布範圍本身，才是誠實的頭條，而非任何單一數字。這個數字的主要用處，是作為一種粗略的方式去溝通「某人有多認真看待這個風險」、並讓分歧浮上檯面；它不是一個科學量測，也絕不該被當成科學量測來引用。負責任的結論是「嚴肅的人之間那寬廣的範圍與深刻的不確定性」，而不是一個該被採信或被嘲弄的特定數值。
面對同一個問題，一位研究者說她的 p(doom) 大約是千分之一，另一位說比較接近五分之一；他們用的是同一個詞，卻有部分是連「毀滅」指什麼、時間範圍多長都意見不一。
p(doom) 是對一個一次性事件的個人信念度，而非可量測的比率；人與人之間的分歧，才是真正的資訊。
絕不要把 p(doom) 當成已量測的統計數字來引用。它是對一個前所未有事件的主觀估計，人們對「毀滅」的定義各不相同，而誠實的總結是那份分歧，而非單一數字。