侷限、幻覺與風險

環境衝擊(environmental impact)

訓練與運行大型模型,燒的是實實在在的電。要訓練一個前沿模型,數千顆專用晶片得連跑好幾週,抽取的電力依電網不同而帶有相應的碳足跡,而承載它們的資料中心還要耗水散熱。一旦訓練完成,一個熱門模型每天回答數百萬條提示,所以「推論」的持續成本,長期累積下來,可能遠遠蓋過「訓練」那一次性的成本。這些數字大到讓整個領域開始把它們列入報告。

但全貌並非一片黯淡,而且往哪個方向誇大都很容易。效率進步得很快——更小的蒸餾模型、更好的硬體、更乾淨的能源,都壓低了每個答案的成本——單獨一次查詢,比起許多日常活動其實算不上什麼。但隨著用量爆炸,總量持續往上爬,所以誠實的立場既不是恐慌、也不是輕忽:衝擊是真實的、值得去量測,也值得拿來與這項工具實際帶來的價值權衡。