後摩爾時代(the post-Moore era)
/ MOORE rhymes with 'sure' /
大約有四十年,電腦擁有一份幾乎免費的魔法禮物。每隔幾年,同一顆晶片就能用更小的電晶體重畫一遍,於是在同樣的面積裡塞進大約兩倍的電晶體,每一顆都快一點、耗電少一點。程式設計師什麼都不用做,舊程式碼在明年的機器上就跑得更快。這感覺像一條自然律。「後摩爾時代」就是用來稱呼那份禮物褪色之後的世界——電晶體仍緩慢縮小,但免費的加速停了,架構師得為每一分增益去努力,而不是坐等它降臨。
結束的其實是兩件不同的事,把它們分開來看會有幫助。摩爾定律是對電晶體數量的觀察:能便宜地塞進一顆晶片的電晶體數量大約每兩年翻倍。這個趨勢已經放緩、變得貴上許多,但還沒完全停止。更深層的斷裂是 Dennard 微縮,也就是電晶體縮小時功率密度保持不變的規律,所以你能在同樣的總功率下讓它們跑得更快。Dennard 微縮大約在 2005 年實質結束:縮小電晶體不再能把功率壓住,於是時脈頻率卡在幾 GHz 附近,無法再一路往上爬。那才是真正的牆,也是為什麼你的筆電時脈頻率並沒有比 2005 年的機器高十倍。
這個領域接下來的一切,都是在回答一個問題:如果單一通用核心每年再也無法被大幅加速,未來的增益要從哪裡來?廣泛的共識指向三個地方。專業化——打造為單一工作量身訂做的硬體,比如一顆專為機器學習設計的晶片,而不是一顆什麼都做得勉強夠用的晶片。更好的記憶體系統——因為現在主要的成本是搬移資料,而不是對資料做運算。還有軟硬體協同設計——把晶片和跑在上面的程式一起設計。後摩爾時代不是進步的終結;它是免費進步的終結,是必須親手設計出來的進步的開端。
大約在 2004 年,單一桌機核心可能跑在 3 GHz。二十年後,頂級核心仍大約跑在 3 到 5 GHz——而不是 30 GHz。2024 年的晶片不是給你一個快十倍的核心,而可能有 16 個核心、好幾個專用加速器,以及更快的記憶體系統。電晶體變小了;免費的時脈頻率手扶梯卻停了。
電晶體持續縮小,但時脈頻率在 2005 年前後就停滯了——這正是 Dennard 微縮終結的明顯標記。
別把兩條定律混為一談。摩爾定律(電晶體數量)正在放緩但尚未死亡;Dennard 微縮(固定功率下的每瓦效能)大約在 2005 年實質結束。是 Dennard 微縮的死亡——不是摩爾定律——逼出了多核心與加速器。