檢索增強生成
文件切塊(document chunking)
你沒辦法把一份三百頁的手冊塞進提示裡,你也不會想這麼做——對任何單一問題而言,裡頭大半都不相關。切塊(chunking)這個步驟,就是把冗長的來源文字切成一口大小的段落,可能每段幾個句子或一個段落,讓檢索器只取出真正重要的那一小片,其餘擱著不管。
片段大小是一種拿捏。切得太大,一段會同時涵蓋好幾個主題,稀釋了它的相關性分數,也浪費寶貴的脈絡額度;切得太小,一個完整的概念又被打散到不同片段,沒有任何一段能說完整個故事。常見作法是依段落、依章節標題,或依固定的詞元數來切。每個切好的片段接著各自被嵌入並儲存,成為檢索回傳時的最小單位。
又稱
另見