侷限、幻覺與風險
過度依賴與自動化偏誤(overreliance and automation bias)
自動化偏誤,是我們傾向於「因為答案來自機器,就比它應得的更信任它」。面對大型語言模型,這股拉力格外強:輸出流暢、快速、不知疲倦,於是人很容易就接受了、然後往下走,而不去做查證這件比較慢的工。久而久之,使用者可能徹底不再細看,把一份篤定的草稿當成已驗證的結論,把本該自己保留的判斷外包了出去。
這份危險會與模型的其他缺陷疊加放大。幻覺與「篤定地犯錯」,唯有當有人據以行動時才會造成傷害,而過度依賴,恰恰就是從一個安靜的錯誤通往真實後果的那座橋——一個錯的劑量、一筆被引進法庭的捏造案例、一份送到客戶手上的瑕疵分析。防禦之道,是讓人「有意義地」留在迴圈裡,尤其是在要緊的決策上,並把工具設計成「邀請查證」而非「打消查證念頭」。把模型當成一個能幹的助手,而不是最終的權威。
另見