RegNet

RegNet（Radosavovic 等人，Facebook AI 研究院，2020）出自一篇題為「設計網路設計空間」（Designing Network Design Spaces）的論文，代表了發掘架構方式的一次轉變。作者不去搜尋單一最佳網路（如神經架構搜尋所做的），也不去手工打造一個模型，而是去搜尋一個好的設計空間：一個參數化的架構家族，其每個成員都傾向於是好的。方法是從一個非常寬廣、約束鬆散的空間（稱為 AnyNet）出發，隨機抽樣許多模型、訓練它們，然後統計分析哪些設計選擇與好模型相關，藉由加入能提升整個族群品質的約束來逐步收緊這個空間。

那個分析得出一個出奇簡單的結果。好的網路遵循一條「層寬如何隨深度成長」的近乎線性的規則：逐區塊的寬度遵循一個量化的線性函數（寬度在整個網路中大致線性增加，然後被四捨五入到方便的數值），而少數幾個參數——起始寬度、斜率、深度、分組卷積的組寬、以及瓶頸比——就足以指定一個出色的網路。由此產生的家族被命名為 RegNet，因為這些網路是規律的（regular）：它們沒有不規則、手工調整、逐階段的特異設定，只有一條乾淨的規則。RegNet 有針對算力的各種尺寸（不含注意力的 RegNetX、加入壓縮與激發的 RegNetY）。

RegNet 的價值有兩面。實務上，RegNet 模型在一系列算力預算下追平或勝過 EfficientNet，同時更簡單、且往往在 GPU 上訓練與執行更快，因為它們規律的結構平行化得很好。概念上，這篇論文主張一種更科學、族群層級的架構設計方法：不要把網路當成尋找某個幸運配置的搜尋，而要研究好模型的分布，以萃取出人類可解讀的設計原則。這套「設計空間」哲學頗具影響力，而 RegNet 骨幹被採用於大規模視覺系統中，包括作為某些自監督與多模態模型背後的視覺編碼器。