不可能變得無聊的那一年
想想今天早上某個 AI 系統替你做的某件事——它在短短幾年前還是一個研究里程碑、有人為它寫了一篇論文：草擬能跑的程式碼、用你的母語流暢對話、通過一場專業考試、把一份合約摘要出來。你大概想都沒想就用了其中之一。真正令人不安的，不是任何單一的能力——而是那條斜率。曾經令人驚嘆的能力，一年又一年不斷滑進「平常」的範疇，而那條曲線並沒有明顯變平。在上一篇指南裡，你已經見過來自 AI 的災難性與存在性風險的論點；這篇指南要談的，是安靜地墊在那套論點每一個版本底下的那個問題。
那個問題其實是兩個旋鈕。強到足以攸關大局的系統，究竟多快會真的到來？而一旦它開始動起來，能力爬升得有多快——是溫和地花上幾十年，還是在幾個月內突然竄高？這些都不是書齋裡的空談。它們決定了我們究竟有沒有時間去打造安全工具、訓練稽核人員、寫出明智的法律，還是會被打個措手不及。一套對「慢慢爬升的二十年」而言堪稱完美的政策，放到「兵荒馬亂的兩年」裡，可能比沒有還糟。所以在我們治理任何東西之前——算力、前沿實驗室、國際協議，也就是後面幾篇指南的主題——我們得先把「時間」和「速度」想清楚，也得想想那個古怪的可能性：這個過程，會不會自己餵養自己。
先講直覺：自己會滾雪的雪球
在任何術語之前，先看這幅核心畫面。想像一顆雪球從山坡滾下。普通的雪球只是愈滾愈大。現在想像一顆奇怪的雪球：它一邊變大，一邊也愈來愈會「黏雪」——於是每滾一圈黏上的雪都比上一圈多，它就加速著離你而去。智慧爆炸背後的想法，正是把這件事套到「智慧」本身上。想像一台聰明到足以設計出「略微更聰明的機器」的機器；那台又設計出更聰明的一台，一代比一代更快、更能幹。最早把這件事寫下來的，是數學家 I. J. Good，時間是 1965 年：他主張，一台「超智慧機器能設計出更好的機器」，於是「毫無疑問會出現一場智慧爆炸」——而且「第一台超智慧機器，是人類需要做出的最後一項發明」。
為什麼這會讓人覺得跟其他任何科技都不一樣？一把更好的鎚子不會去設計下一把鎚子；一具更快的引擎不會發明出更快的引擎。但智慧，正是那個負責「設計」與「發明」的東西——所以原則上，改良它就能改良「那個負責改良的東西」，閉合起一個普通工具永遠閉合不了的回饋迴圈。正是這一個轉折，可能把進步那條平順的行軍，變成某種突然失控狂奔的東西，甚至產生出一個遠超人類能力的超級智慧。把雪球記在心裡，但別抓得太緊：Good 在 1965 年的那句話，是一位聰明絕頂的人提出的有力論證，而不是一次量測；而你接下來會看到，現實到底是不是這樣運作，正是整個領域裡爭議最大的問題之一。
精確的想法：自我改進與起飛速度
現在來看真正的定義，一次一個詞。雪球那幅畫面的引擎，是遞迴自我改進：一個系統變強的方式，不只是在某個任務上變厲害，而是特別在「打造並改進 AI 系統」這件事本身上變厲害——也就是把 AI 研究本身自動化。關鍵的字是「遞迴」。人類去改進 AI 只是平常的進步；只有當一個 AI 的改進讓它更會做改進，迴圈才真正變成自我強化——一輪的產出，會是一件能產出「更好的下一輪」的工具。要小心現實究竟走到哪了：今天的模型確實會協助研究者——寫程式碼、建議實驗、甚至提出架構——但一個封閉、自主、由系統大規模地實質推動自身能力增長的迴圈，尚未被觀察到。那個迴圈是一個假設，不是一筆被記錄下來的結果。
第二個詞是起飛速度：當系統逼近、接著越過人類能力範圍時，能力爬升得有多快。Nick Bostrom 在 2014 年的著作《超智慧》裡，把各種可能性分成慢起飛、中速起飛與快起飛。後來 Paul Christiano 提出了一個關鍵的修正：真正的爭論與其說是關於日曆上的時間，不如說是關於「連續性」。慢起飛（或稱「軟」起飛、連續起飛）指的是能力在許多系統與整個經濟體裡平順而廣泛地上升，給出一些預警性的小事故和適應的時間——世界或許會在數年間被改寫，但每一步都是漸進的。快起飛（或稱「硬」起飛、不連續起飛）則指一次突然的跳躍——也許是某個單一系統在很短的時間窗內遠遠拋開其餘一切，幾乎沒有預警。注意這化解掉的一個陷阱：「慢」不一定代表「在日曆上要花很久」；它代表「沒有突然的不連續跳躍」。你完全可能遇到一個仍然快得令人不安、卻是連續的起飛。
THE PROPOSED FEEDBACK LOOP (an argument, not an observation)
smarter AI --> better at AI research --> builds a smarter AI
^ |
+----------------------------------------------+
gain per loop GROWS -> runaway = fast / hard takeoff
gain per loop SHRINKS -> smooth ramp = slow / soft takeoff
a bottleneck caps it -> stalls (compute, data, real-world experiments)人們究竟怎麼預測一條時間線
沒有人能讀懂未來，但嚴肅的預測者也並不是在瞎猜——他們從幾個彼此獨立的角度做三角定位，並且報告的是區間，而不是某個日期。先補一點詞彙，好讓這些角度說得通。轉變性 AI是一個刻意以「結果」為準的標籤（來自 Open Philanthropy 的研究者）：指的是對世界的衝擊至少和工業革命一樣大的 AI，不論它是怎麼造出來的。通用人工智慧（AGI），以及調查裡用的「高階機器智慧」一詞，指向的則是一個「能力門檻」——大致就是能完成人類大多數認知任務的系統。不同的定義會給出不同的時間線，這就是在任何人開始爭論之前，估計值就已經分歧的第一個原因。
- 外推算力。前沿系統背後的訓練算力一直在爆炸式成長——Epoch AI 估計這十年來大約是每年增為約四倍——所以一種做法會問：照這個速度，我們何時會抵達某個目標能力可能需要的算力水準？
- 倚靠擴展定律。這些是經驗規律（Kaplan 等人 2020 年；2022 年的 Chinchilla 研究）：它們顯示，隨著算力、資料與參數增長，模型的損失會沿著一條平滑的冪次律下降。在我們量測過的範圍內它們都成立——但它們是規律，不是保證，而且關鍵在於：它們預測的是「損失」，而不是任何特定的危險能力。
- 使用生物錨點。一份有影響力的報告（Ajeya Cotra 的「生物錨點」）估計「相當於人腦的運算」可能需要的算力，再問訓練規模何時會達到那個量。它明確地是一個寬廣、不確定的分布，而不是一個點預測。
- 直接問專家。針對發表過論文的機器學習研究者所做的大型調查（AI Impacts 的調查，Grace 等人）會匯總數千份個別預測——之所以有用，恰恰是因為單靠任何一種方法都不夠可信。
這裡給一個具體的結果作為定錨。在 2023 年的 AI Impacts 調查中（Grace 等人，受訪者 2,778 人），匯總後的預測給出「到 2047 年有 50% 機率出現高階機器智慧」——比同一份調查僅僅一年前所得的結果，整整提早了十三年。這個擺盪本身，就是最誠實的一個資料點：一群專家在十二個月內，把它的中心估計挪動了超過十年，這就告訴了你這個問題有多麼懸而未決。同一份調查在「災難」上呈現出很寬的散布：相當一部分研究者把「極壞的長期結果」的機率放在至少 10%，而中位數估計則是個位數百分比。把這些全都當成「匯總起來的意見」，而不是對未來的量測。預測之所以這麼難，部分原因在於能力有時會隨著模型規模而看似跳躍——也就是所謂的湧現能力——不過就連這一點也有爭議：2023 年的一份分析（Schaeffer 等人）主張，某些看起來像跳躍的現象，其實是「我們選擇怎麼替任務評分」造成的假象。
一個實例：從 AlphaGo 到 AlphaZero——以及它的限制
我們手上最接近「親眼瞥見一個快速自我改進迴圈」的東西，來自下棋的 AI，而它值得仔細走一遍。2016 年，DeepMind 的 AlphaGo 擊敗了世界頂尖的圍棋棋手李世乭，當中那著看起來「不像人類」的「第 37 手」尤其有名——人類講評員一開始還以為那是個失誤。更醒目的部分隨後而來：AlphaGo Zero（2017）的訓練完全沒有用到任何人類棋譜——它純粹靠自我對弈來學習，從隨機走子開始。在自我對弈三天之內，它就超越了那個擊敗李世乭的版本；大約三週之內，它甩開了先前的每一個版本。AlphaZero 接著把同一套自我對弈的配方推廣到西洋棋與將棋。一個系統在一個領域裡，靠著與「不斷變強的自己」對弈，在幾天內從新手一路爬到超越人類。這是一個生動、有記錄的實例，顯示了在條件對的時候，一個自我強化的迴圈能有多麼爆炸性。
但要誠實面對這個「不對等的類比」，因為真正的教訓就藏在這裡。圍棋是一個封閉、被完整定義的世界：規則永不改變、棋盤就是整個宇宙、一個完美的模擬器跑在一塊晶片上、回饋（贏或輸）即時而毫不含糊，而且你幾乎能免費生成數十億盤練習棋。現實世界的研究、科學發現與經濟活動，這些一樣都沒有。實驗要花真實的時間；實體製造與臨床試驗沒辦法靠「想得更用力」來加速；世界是它自己唯一的模擬器；而回饋既緩慢、又嘈雜、還充滿爭議。所以 AlphaZero 同時砍向兩邊：它證明了在領域允許的地方，這個迴圈能快得驚人；它也同樣顯示了，為什麼一個通用的、現實世界裡的迴圈可能會卡得很死。今天的大型語言模型，在 AlphaZero 從未具備的意義上是「通用」的，但它們是在一個固定的人類語料庫上訓練的，而不是在一個自我對弈迴圈裡——而一個通用系統能不能像 AlphaZero 推動它那個狹窄迴圈那樣推動自身的改進，正是那個開放的問題，而不是一件已成定論的事。
新手最常弄錯的地方
第一個、也是最大的錯誤，是成雙成對地出現的：把智慧爆炸當成「鐵定會發生」，或把它當成「顯然不可能」。兩者都說過頭了。它是一個由「可被質疑的前提」搭起來的論證——當你已經非常聰明了，智慧還會不會有邊際遞減？真的存在一個單一的、純量式的「智慧」，讓你可以一直往上轉嗎？這個迴圈是不是有些硬性的瓶頸非等不可？運用基礎那一級的校準習慣，正確的做法是：把它當成一個嚴肅的假設，其強弱取決於那些前提，而不是往任何一個方向宣布它已成定局。一個自洽又生動的論證，不等於一個證明；而「不過就是科幻」，也不等於一個反駁。
接著還有三個比較安靜的錯誤。一個是又把兩個旋鈕揉在一起——引用一個關於「起飛」的信念，彷彿它回答了「時間線」的問題，反之亦然。另一個是把擴展定律讀成保證：它們是在我們量測過的範圍內成立的經驗規律，到了那些範圍之外可能彎折或斷裂，而且它們描述的是損失，不是危險。第三個是把 AGI 想像成某個會在「某個星期二」被跨過的單一終點線日期。能力是參差不齊的——系統在某些狹窄的事情上早已超越人類，在另一些連小孩都會的事情上卻弱得驚人——所以「AGI 何時到來」有一部分是「你把那條定義線畫在哪裡」的問題，這也正是為什麼誠實的預測者給的是寬廣的區間，而不是某個年份。
不過，最深層的錯誤，是假設「更聰明」自動就意味著「會接管」。速度與能力是一回事；一個系統會不會「想要」奪取資源、或抗拒被關掉，是一個完全分開的問題——正是先前各級談過的能力與對齊之分。起飛與時間線講的是能力到來得有多快；危險只有在你把它和你已經見過的對齊論證結合起來時才會咬人，主要是工具性收斂和權力追求。快起飛之所以對安全要緊，主要是因為它壓縮了「在一個系統強到、嵌得深到無法糾正之前，察覺並修正失準」所能用的時間。而且，就像先前談中介優化時一樣，這一切都不需要系統有意識或心懷惡意：遞迴自我改進是一個優化迴圈，不是一股權力意志。
真正還在爭論的是什麼
最受矚目的分歧是快起飛對慢起飛，而它有著悠久的來歷。經典的交鋒是 2008 年 Eliezer Yudkowsky 與經濟學家 Robin Hanson 之間的「AI-Foom（智慧暴衝）」辯論。Yudkowsky 與 MIRI 主張一種局部、突然的硬起飛——某個單一專案遞迴地自我改進、在任何人來得及反應之前就「FOOM」地遠遠衝到全世界前面。Hanson 則主張某種廣泛而漸進的東西，比較像一波席捲整個經濟體的成長浪潮，而不是某一間實驗室獨自抽離。十年後，Paul Christiano 把慢起飛的論點重新框定得很銳利：能力會在許多系統與整個經濟體裡連續地累積，伴隨大量的預警性事故，就算整個過渡在日曆上其實很快也一樣。這些圖像不是學術上的裝飾——它們蘊含著幾乎相反的安全策略，因為一個有預警事故的世界能學習、能調整，而一個只有一次突然跳躍的世界，做不到。
在底下還墊著一個更根本的問題：到底有沒有一場「智慧爆炸」值得辯論？懷疑者指出雪球無法一廂情願甩開的那些瓶頸。算力與能源面臨物理與經濟上的限制；高品質的訓練資料可能正在短缺，有些推估（同樣來自 Epoch）認為有用的公開文字存量可能在數年內就大致被耗盡；而「現實世界不會加速」這個論點則說，想得更快，對那些以人類與物理步調前進的實驗、製造與制度毫無幫助。智慧的邊際遞減則會把迴圈壓平成一條平滑的爬坡。往另一邊拉的是 Rich Sutton 的「慘痛教訓」：他觀察到，綜觀 AI 的歷史，單純地「利用更多運算」的通用方法，一再擊敗精巧的手工方法——這是有些人預期這個迴圈會持續帶來回報的理由。這個天平最終落在哪裡，是真的還沒有定論，而智慧爆炸至今仍是一個活生生的論證，而非一個被展示出來的現象。
再來是「時間」與「賭注」上的散布，這你應該如實報告，而不是設法替它做出裁決。嚴肅、消息靈通的研究者，把「轉變性系統」放在從幾年到好幾十年之間的任何位置；而正如上面那份調查所示，他們的中心估計逐年大幅變動。毀滅機率 p(doom)的數字也是如此：在整個研究社群裡，它們從遠低於 1% 一路到超過 50%，而且——呼應基礎那一級——每一個都是被壓縮過的主觀判斷，不是一次量測，而且往往是在回答一個略有不同的問題。這一切都不是「無知偽裝成辯論」；這是通情達理的人，對「真的很稀薄、很含糊的證據」給出了不同的權重。還有一條線索橫貫其中：就算在一個慢起飛的世界裡，實驗室與國家之間的競賽動態也可能侵蝕審慎，因為誰放慢腳步求穩當，誰就有被超車的風險——這是一種結構性風險，讓「時機」不論速度快慢都帶著危險。