影像分割

超像素

超像素(superpixel)是一小塊相連、看起來相像(顏色與紋理相近)的像素,被分在一組並當成單一單位處理。動機純粹是規模問題:一張百萬像素的影像有上百萬個像素,但只有數千個在感知上有意義的小區域。先把影像塌縮成幾百或幾千個尊重物體邊界的超像素,就能把後續演算法需要推理的基本單元數量降低好幾個數量級,卻幾乎不損失任何要緊的東西。

最廣為使用的方法是 SLIC(Simple Linear Iterative Clustering,Achanta 等人 2012)。它本質上是在一個結合顏色(Lab 三通道)與位置(x、y)的五維空間中執行的 k-means。先在規則網格上佈下群集中心;每個像素加入最近的中心,但搜尋被限制在每個中心周圍的局部窗口內,這使它快速、且超像素大小大致均勻。一個權重參數在顏色相似度與空間緊湊度間做權衡——調高得到團塊狀、規則的超像素,調低則得到緊貼邊緣的超像素。其他演算法(Felzenszwalb-Huttenlocher 的圖論法、分水嶺法、SEEDS)在「緊湊度對邊界貼合度」上做不同取捨。

在深度學習之前,超像素曾是分割流程的骨幹:對每個超像素抽取特徵、分類,再把結果縫合。如今端對端 CNN 能直接逐像素預測,它的角色縮小了,但作為一個效率層仍有價值——用於快速的互動式標註(一鍵標記整個超像素)、施加邊界感知的平滑性、以及在圖論方法中讓每個超像素成為一個節點。

又稱
SLIC superpixels