大型語言模型是什麼

生成式文字模型(generative text model)

生成式文字模型會「寫出」新的文字,而不只是把現有文字分類歸檔。垃圾郵件過濾器是相反的那種模型——它讀一封郵件,輸出一個標籤,「垃圾」或「不是垃圾」。生成式模型則讀你的提示,產出之前並不存在的全新句子,一個詞元一個詞元地組出來,貼合你的要求。

它靠「抽樣」來生成:在算出下一個詞元的機率之後,挑一個出來、接上去,再把變長的文字餵回去預測再下一個。因為每一步都有挑選的空間,同一個提示可能得到不同的答案。這既是輸出讓人覺得有創意的原因,也是它無法完全重現的原因。