解碼與取樣

對數機率與信心(logprobs and confidence)

模型吐出的每個詞元都附帶一個機率,而它的對數——對數機率(logprob)——是一種精簡的方式,讓你讀出模型在那一步有多確定。對數機率接近零代表模型幾乎篤定;非常負則代表它對自己的選擇感到意外。許多 API 都能回傳這些數字,往往還附上它考慮過的前幾名替代選項,讓你得以一窺單一解碼序列幕後的樣子。

人們把對數機率當作便宜的信心訊號:在一段範圍內取平均以標記不穩的答案、用每個選項字母的機率替選擇題評分、或偵測模型以低把握度認定某個特定人名或數字的幻覺。關鍵提醒是:信心不等於正確。模型可以流暢地、以高機率犯錯,因為這些數字反映的是文字有多典型,而不是它是否為真。把對數機率當成有用的提示就好,千萬別當成保證。

\text{logprob}(t) = \log p(t \mid \text{context})

詞元機率的對數;越接近 0 代表越有把握,越負代表越意外。

又稱
token log-probabilities