超智慧（superintelligence）
/ soo-per-in-TELL-uh-jents /
我們很習慣這樣的想法：在某項任務上，有些人遠勝過其他人，西洋棋的特級大師、音樂的演奏巨匠。現在想像一個心智，它不只是在某一件事上勝過最強的人類，而是在幾乎所有智力事務上都遠遠勝過最頂尖的人類，包括「發明更好科技」這件工作本身。那個假想就是超智慧：一種在幾乎所有我們關心的領域上，都大幅超越人類認知表現的智能。
超智慧通常被當作 AGI 之後一個可能的未來階段來討論，而不是今天已經存在的東西。一個常見的故事把兩者連起來：一個達到大致人類水準通用能力的 AI，可能被用來改進 AI 本身，而如果每一個被改進的系統都更擅長改進下一個，這個過程就可能對自己產生回饋，這個想法叫做遞迴自我改進，原則上可能導向一場快速的智慧爆炸。這樣的「起飛」有多可信、會有多快，有真正的爭議；有人視之為嚴肅的可能性，有人視之為臆測，而誠實的答案是：我們並不知道。
超智慧之所以在安全討論中份量很重，是因為兩個先前想法的結合。根據正交性論題，一個超智慧系統不必然分享人類價值；根據工具性收斂，一個有能力、目標導向的系統有理由去取得資源、抗拒干預。兩者相加，一個失準的超智慧就是存在性風險擔憂背後的最壞情境，因為按定義，我們無法輕易在智謀上勝過它、或在力量上壓制它。必須講清楚的是：這是一個關於「假想」的論證，而非對現有系統的描述，而研究者對它有多可能、有多近，存在嚴肅的分歧。
想想一個人類要勝過一隻試圖躲開陷阱的老鼠有多輕鬆：不是靠更強壯，而是靠在一個老鼠搆不到的層次上理解整個情境。對一個失準超智慧的恐懼，正是另一個方向上類似的落差，而這次站在老鼠位置上的是我們，這正是為什麼有人主張：安全必須在這樣的系統「存在之前」、而非之後，就先解決。
危險在於能力落差大到「在智謀上勝過該系統」根本不是一個選項。
超智慧是一個關於「可能未來」的假說，而非關於任何「現存系統」的事實。關於它的可能性、速度與危險性的論證，橫跨一個寬廣且真正有爭議的範圍，因此對任何一方「斬釘截鐵」的說法，都該謹慎看待。