階層式分類 (hierarchical classification)

階層式分類善用了一個事實:類別往往被安排成一棵樹或一個分類學(taxonomy),例如「動物」包含「哺乳類」、包含「狗」、包含「拉布拉多」,而不是把所有類別都當成一個扁平、彼此無關的清單。模型被訓練(或它的預測被組織)成尊重這個結構,使系統能在多個粒度層級上推理,並犯下更聰明的錯。

其回報有兩方面。第一,錯誤變成有分級的,而非全有或全無:把拉布拉多和黃金獵犬(同屬「狗」之下的手足)搞混,遠比把牠和卡車搞混來得小錯,而一個具階層意識的指標或損失,可以獎勵在樹中保持接近。第二,模型可以藉由在較粗的層級預測來保留餘地,在無法可靠地選出品種時輸出「狗」,這比一個自信卻錯誤的葉節點更有用,也支援那些必須永遠回傳某個有效(即使較籠統)答案的系統。

其實作從簡單到整合不一而足:事後法把扁平預測往上彙整到信心足夠的層級;結構化方法則建立逐節點或逐層級的分類器,或把樹編碼進損失中,例如沿著從根到葉的路徑把交叉熵加總起來,使學會父節點有助於學會子節點。它與 ImageNet(其 1000 個類別衍生自 WordNet 階層)自然相連,也與細粒度分類(它存在於這類樹最深、最具體的層級)相連。