提示與情境學習
提示(prompting)
提示就是你交給語言模型、用來啟動它的那段文字。模型已經讀過海量的文章,所以每換一個任務並不需要重新訓練;它只是用最貼切的方式,把你給的文字接續下去。提示的功夫,就在於挑選這段開頭,好讓接下來的續寫正好是你想要的答案。問得含糊,回得也含糊;把目標、背景與你期待的答案形狀說清楚,模型通常就能跟上。
就機制而言,模型其實從不把你的要求看成命令。它看到的是一串詞元(token),然後一次一個地預測接下來該出現哪些詞元。你的提示佈置了場景,讓一個好答案成為最可能的續寫。這也是為什麼同一個模型可以寫詩、修程式、翻譯菜單,內部卻毫無改變:變的只是提示。學會好好提示,多半就是學會把任務、讀者與格式講明白,並補上模型本來無從得知的事實。
提示改變的是輸出,不是模型本身。權重保持凍結;你是在引導,而不是在訓練它。
又称
另见