語言模型基礎（language model）

用最簡單的話說，語言模型就是一個會替「字詞序列」指派機率的系統。給它「貓坐在___上」，它知道「墊子」比「直升機」合理得多。語言模型骨子裡擁有的，就只是這種「哪個句子比較像話」的感覺——而這竟然就足以撐起翻譯、文字接龍與對話。

早期的語言模型靠數文字組合出現的次數，例如「坐在…上」後面接「墊子」的頻率有多高。現代的語言模型則用神經網路取代數數，讓它學會其中的規律，因而能推廣到從沒見過的句子。但不論哪一種，工作都一樣：估計一段語言出現的可能性有多高，並用這個來預測或生成文字。