「苦澀的教訓」（the bitter lesson）
/ thuh BIT-er LES-un /
「苦澀的教訓」，是AI研究者理查德·薩頓2019年一篇簡短而影響深遠的隨筆。它主張：縱觀AI七十多年的歷史，同一個模式反覆上演——那些單純依靠更多算力的方法（通用的學習與搜索，你給它越多數據和處理能力，它就越好），最終會擊敗那些建立在精巧、由人手工打造的知識之上的方法。之所以叫「苦澀」，是因為研究者覺得它令人難堪：他們滿懷珍愛、親手工程進系統的那些優雅洞見，往往被僅靠「上規模」的蠻力方法碾平。
歷史為它背書。在西洋棋上，數十年來對特級大師棋略的編碼，敗給了搜索海量局面的引擎。在圍棋上，手工調校的啟發式規則，敗給了從海量自我對弈中學習的系統。在語音識別、機器翻譯和電腦視覺上，那些建立在人類專長之上、精心設計的特徵，一次又一次被「用更多算力、更多數據訓練的通用模型」反超。每一次，這個領域的本能都是把「我們對問題的了解」內建進去；每一次，持久的勝利卻來自那些「自己去把它學會」的通用方法。
把它當作一個發人深省的論點，而非福音——並留意它的侷限，薩頓的批評者對此向來毫不客氣。縮放既不免費也非無限：它要燒掉巨量的算力、能源和數據，抬高成本、引發環境憂慮，而且有跡象表明輕易得來的收益正在放緩。這教訓也並不是說人類的知識無用——它說的是：別以「會給系統的學習能力封頂」的方式把知識寫死；那些幫助模型去學的結構（比如架構本身的設計），本身就是人類的貢獻。最好把它讀作一種強烈、來之不易的偏向——偏向通用、可擴展的方法，一記反對過度工程的警鐘——而不是一條「算力越多就總能贏」的定律。
早期的圍棋程式手工編入了人類的戰略原則，卻卡在了業餘水平。AlphaGo及其後繼者，基本拋開了手工編碼的智慧，轉而從海量的自我對弈與搜索中學習，碾壓了世上最頂尖的棋手。數十年精心工程出來的圍棋知識，其分量遠不及「讓一個通用方法在規模上去學」——這就是濃縮在一盤棋裡的苦澀教訓。
圍棋：手工編碼的人類戰略，敗給了一個在規模上學習的通用方法。
苦澀的教訓是一個論點，而非一條已證明的定律。它是一種強烈的偏向——偏向通用、可擴展的方法，而非手工打造的知識——但縮放有實實在在的侷限（成本、能源、數據），而且「別把知識寫死」並不等於「人類的洞見一文不值」。把它讀作一記反對過度工程的警鐘，而非「算力越多就總能贏」的承諾。