生成式AI与大语言模型

温度(temperature)

/ TEM-pur-uh-chur /

温度,是一个旋钮,掌管着语言模型在挑选下一个词时有多「敢冒险」。每一步,模型都会产出一份带概率的候选词排行榜——「这」很可能,「香蕉」不太可能。在真正选词之前,温度会重塑这份榜单。低温会让赔率变得更悬殊,于是模型几乎总抓那个最可能的词;高温则把榜单压平,给那些黑马一个真实的机会,让出人意料的词得以溜进来。

把它当成一个「创意与可靠」之间的旋钮。把它拧到接近零,模型就变得专注而重复,适合于你每次都想要同一个正确答案的场合——抽取一个日期、返回有效的代码、做算术。把它拧高,模型就变得松弛而富于发明,适合头脑风暴、虚构写作或措辞求变——代价是它会东游西荡、自相矛盾,也更可能说出不实之词。大多数聊天助手都停在一个折中的设置上,在两者间求平衡。

一个要紧的诚实提醒:温度改变的是「怎么选词」,而非「模型究竟知道多少」。把它拧到零,输出会变得确定而齐整,可一个自信的低温答案,照样可能和一个天马行空的答案一样错——它只不过笃定地押上了自己那个唯一的最佳猜测。温度调的是输出的文风与多样性;它丝毫不能让底下的知识变得更正确。

提示:「给咖啡馆起个名字:」温度为0时,模型每次都返回同一个稳妥的「The Daily Grind」。温度为1.0时,它返回「Bean There」「Cup of Dawn」「Steam & Stone」——每次都不同、更有创意,但偶尔也会冒出怪名。

低温:稳妥、可重复。高温:多变、出人意料。

温度为0让输出(近乎)确定,对那些需要唯一、可重复的正确答案的任务很合适——但它并不能让答案变正确。低温模型照样会产生幻觉;它只是每次都产生同一个幻觉罢了。

又称
sampling temperature温度溫度采样温度