全景分割

全景分割是兩個世界的統一。其洞見是：一張影像包含兩種內容。「物件」（things）是可數、形狀清晰的物體——人、車、狗——你會想要個別的實例；「材質背景」（stuff）則是無定形、不可數的背景——天空、道路、草地、水面——對它們計數毫無意義、只有類別才重要。全景分割為 things 標上實例編號、為 stuff 標上語意類別，全部納入單一、完整、互不重疊的地圖中。其名取自 panopticon（圓形監獄）：一覽無遺、盡收眼底。

使其融貫一致的關鍵約束是：每個像素恰好被指派一組（類別，實例編號），既無空隙也無重疊。這比實例分割更嚴格（後者的遮罩可重疊、許多像素可保持無標籤），也比語意分割更豐富（後者完全沒有實例編號）。解決必然發生的衝突（兩張預測遮罩都宣稱擁有同一像素）也是任務的一部分。

效能以全景品質（Panoptic Quality，PQ）總結，由 Kirillov 等人於 2019 年隨此任務提出。對每個類別，用 IoU > 0.5 把預測片段與真實片段配對（此門檻保證配對唯一），則 PQ =（所有配對成功的真陽性之 IoU 總和）除以（TP + 0.5·FP + 0.5·FN）。它可漂亮地分解為 PQ = SQ × RQ，其中分割品質（Segmentation Quality）是配對片段的平均 IoU（配對的形狀有多準），辨識品質（Recognition Quality）是類似 F1 的偵測分數（究竟找到了多少片段）。最後再跨類別對 PQ 取平均。