組合式泛化（compositional generalization）

組合式泛化，是把熟悉的零件組合成真正新東西的能力。如果一個模型既會翻成法文、又會寫一首打油詩，那它能不能寫出一首它從沒見過的法文打油詩？人類無時無刻不在做這件事：我們重新組合已知的字詞、規則與技能，去應付從未碰過的情境。人們的期望是，一個真正學會了各個部件的模型，能按需把它們組裝起來，而不是只重複它在訓練時看過的整套組合。

實務上，模型對此一半在行、一半不在行，而這道落差是這個領域最深的問題之一。它們能令人印象深刻地揉合風格、格式與領域，卻也可能在兩項各自都能單獨處理的技能的乾淨組合上失手，尤其當零件數目變多、或組合遠離訓練分布時。強的組合式泛化是真正理解、而非死記模板的徵兆，所以細細探查它在哪裡成立、在哪裡崩潰，是描繪模型究竟掌握了什麼的一種審慎方法。