侷限、幻覺與風險
篤定地犯錯(confident wrongness)
大型語言模型最安靜卻最具殺傷力的特質,就是它的語氣完全不透露它對不對。正確的答案和錯誤的答案,用的是同一種流暢、平穩的嗓音——猜測時不會顫抖,真的知道時也不會更有把握。我們習慣了人在不確定時會變得含糊或遲疑,於是把流暢讀成可靠的信號。面對模型,這種直覺偏偏在最不該的時刻把我們帶歪。
用技術話說,這個模型「校準不良(miscalibrated)」:它表現出來的自信,跟它實際的準確率對不上。它可能對一件憑空捏造的事斬釘截鐵,卻對一件其實答對的事莫名其妙地含糊。你沒辦法靠問「你確定嗎」來修正它,因為造出錯誤的同一套機制,也會樂呵呵地產出一句安撫。唯一可靠的信號在模型之外——對照來源去驗證——所以請養成查證的習慣,而不是去聽那永遠不會出現的遲疑。
又稱
另見