智慧爆炸(the intelligence explosion)
想像有一位研究者,做研究做得太厲害,以至於她最好的專案就是「改進她自己」,而每一次改進都讓她更擅長改進自己。下一輪來得更快,接著又更快。智慧爆炸就是這樣一個假說:AI 可能做到這件事,一個聰明到足以增強自身設計的 AI,可能觸發一個「愈來愈快」的失控迴圈,把人類等級的智慧遠遠拋在後頭。
這個構想由數學家 I. J. Good 在 1965 年勾勒出來:打造一台能設計出比自己更好的機器的「超智慧」機器,你就會得到一場級聯,一場智慧爆炸,其中每一代都打造出更銳利的後繼者。引擎就是遞迴自我改進:能力回饋進「生產能力」的那個過程本身。若每一步都帶來「超過比例」的增益,進展原則上就可能在短時間內劇烈加速,而不是像歷史上那樣緩步前行。
這究竟會不會真的發生、又有多快,極為不確定,並且是「起飛速度」辯論的核心。懷疑者指出可能的瓶頸:改進智慧本身可能愈往後愈難(報酬遞減),而真實的進展還需要資料、實體實驗、運算硬體與能源,這些都不是 AI 能瞬間變出來的。對這個迴圈樂觀的人則回應,即使是一個「被加速但仍有瓶頸」的過程,也可能帶來轉變性的後果。請把智慧爆炸當成一個「形塑人們有多認真看待快速起飛情境」的有影響力假說,而不是一個已被證明的事實。
假設一個 AI 協助設計出它自己的後繼者,而後者的訓練時間只要一半;那個後繼者又設計出另一個更銳利、又更快的。如果沒有任何東西卡住這個迴圈,幾輪下來,就可能把曾經需要數十年的進展,壓縮成幾個月。而「究竟有沒有東西卡住這個迴圈」,正是關鍵所在。
整個構想的成立,取決於那個回饋迴圈維持暢通;而現實世界的瓶頸,如資料、硬體與報酬遞減,可能讓它放慢或停下。
「智慧爆炸」有時被寬鬆地等同於「奇點」,但兩者並不相同,而且爆炸是一個假說,不是定律。說得通的瓶頸,可能會鈍化甚至完全阻止那個失控迴圈。