生成式AI與大型語言模型

溫度(temperature)

/ TEM-pur-uh-chur /

溫度,是一個旋鈕,掌管著語言模型在挑選下一個詞時有多「敢冒險」。每一步,模型都會產出一份帶機率的候選詞排行榜——「這」很可能,「香蕉」不太可能。在真正選詞之前,溫度會重塑這份榜單。低溫會讓賠率變得更懸殊,於是模型幾乎總抓那個最可能的詞;高溫則把榜單壓平,給那些黑馬一個真實的機會,讓出人意料的詞得以溜進來。

把它當成一個「創意與可靠」之間的旋鈕。把它擰到接近零,模型就變得專注而重複,適合於你每次都想要同一個正確答案的場合——抽取一個日期、返回有效的程式碼、做算術。把它擰高,模型就變得鬆弛而富於發明,適合腦力激盪、虛構寫作或措辭求變——代價是它會東遊西蕩、自相矛盾,也更可能說出不實之詞。大多數聊天助手都停在一個折中的設置上,在兩者間求平衡。

一個要緊的誠實提醒:溫度改變的是「怎麼選詞」,而非「模型究竟知道多少」。把它擰到零,輸出會變得確定而齊整,可一個自信的低溫答案,照樣可能和一個天馬行空的答案一樣錯——它只不過篤定地押上了自己那個唯一的最佳猜測。溫度調的是輸出的文風與多樣性;它絲毫不能讓底下的知識變得更正確。

提示:「給咖啡館起個名字:」溫度為0時,模型每次都返回同一個穩妥的「The Daily Grind」。溫度為1.0時,它返回「Bean There」「Cup of Dawn」「Steam & Stone」——每次都不同、更有創意,但偶爾也會冒出怪名。

低溫:穩妥、可重複。高溫:多變、出人意料。

溫度為0讓輸出(近乎)確定,對那些需要唯一、可重複的正確答案的任務很合適——但它並不能讓答案變正確。低溫模型照樣會產生幻覺;它只是每次都產生同一個幻覺罷了。

又稱
sampling temperature温度溫度采样温度