檢索增強生成

片段重疊(chunk overlap)

如果你在硬邊界切割文件,一個句子或一個概念可能被乾淨地切成兩半——前一片段的尾巴和後一片段的開頭,各自只握著一個片段,要合起來才講得通。片段重疊(chunk overlap)的解法,是讓相鄰片段在邊緣處共享一小段文字,於是重要的東西不會掉進兩段之間的縫隙裡。

實務上,每個片段會重複前一段最後一兩句話,這表示任何橫跨邊界的概念,至少會在某一個片段裡完整出現,並能被整段檢索回來。重疊量是一個可調的窗口:太少,你仍會切斷思路;太多,你會存下冗餘的副本,撐大索引,還可能對同一個查詢回傳好幾個幾乎重複的命中。適度的重疊,是一個便宜又廣為使用的保險。