治理與災難性風險

起飛速度(takeoff speed)

當一架飛機離地時,問題不只是它有沒有爬升,而是爬升得多陡。起飛速度問的是 AI 的同一件事:假設系統最終達到並超越人類等級的能力,這個轉變會以多快的速度展開,是橫跨數年與數十年,還是在幾個月、幾週、甚至幾天之內?

這場辯論通常被框成「快速(或『硬』)起飛」對上「緩慢(或『軟』)起飛」。在快速起飛的圖像裡(常與遞迴自我改進綁在一起),一個系統跨過某個門檻後,便改進得如此之快,以至於世界幾乎沒有時間反應,能力或許近乎垂直地一躍而起。在緩慢起飛的圖像裡,能力雖陡升,卻較為連續,散布在眾多彼此競爭的系統與看得見的警訊之間,給了社會時間去適應、監管與修正航向。請注意一個微妙之處:這裡的「緩慢」仍可能意味著數年內的轉變性變化,只是夠漸進到能預先看見,而非橫跨數百年。

起飛速度之所以重要,是因為它改變了「哪些安全策略才說得通」。如果起飛是緩慢而連續的,我們或許能從較小的失敗中學習、對對齊反覆迭代,並邊走邊建立治理。如果它是快速而不連續的,我們可能只有一次關鍵嘗試、且幾乎沒有預警,這就抬高了「事先解決對齊與控制」的賭注。關鍵在於:這仍未有定論:深思熟慮的研究者分立兩邊、證據是間接的,而真實系統究竟會起飛得多快,依然確實開放。

想像兩個世界。在其中一個,能力穩定攀升了十年、伴隨著看得見的里程碑,法律與實驗室也一路隨之調整。在另一個,一個自我改進的系統在單單一季之內,就從「好用」狂飆到「超越人類」,快到沒人來得及反應。在這兩個世界裡,安全看起來截然不同。

緩慢起飛給了我們許多次嘗試與警訊;快速起飛或許只給一次。我們將面對哪一種,形塑了整套安全計畫。

「緩慢」起飛並不代表悠哉;在這場辯論裡,它仍可能意味著數年內就被徹底改變的世界,只是夠連續到能夠預期。快與慢之爭,在嚴肅的研究者之間仍無定論。

又称
takeofffast vs slow takeoffhard vs soft takeoff硬起飛/軟起飛