影像處理與濾波

空間濾波

空間濾波以滑動一個小的權重網格(稱為核或遮罩)越過每個像素的方式來處理影像,並以該像素鄰居的加權組合取代每個像素。想像一個 3 乘 3 的模板懸在影像上方;在每個位置,你把下方的九個像素乘上九個核權重、加總起來,再把結果寫入輸出。藉由選擇權重,你能得到模糊、銳化、邊緣偵測、浮雕等等,全都出自同一套機制。

有兩個密切相關的運算。相關(correlation)計算 f(x+i, y+j) * k(i,j) 對各偏移 (i,j) 的總和:核直接覆在影像上。卷積(convolution),寫作 (f * k)(x,y) = f(x-i, y-j) * k(i,j) 之和,與相關完全相同,只是先把核旋轉 180 度。這個翻轉看似賣弄,卻使卷積具有交換律與結合律,而且正是卷積定理把它與傅立葉域中的乘法連繫起來的運算,是線性非時變(shift-invariant)系統的理論支柱。對於對稱核(如高斯核)兩者一致;要注意卷積神經網路中的「卷積」其實是相關。

實務上總會碰到兩個問題。第一是邊界:當核懸出影像邊緣時,你必須捏造數值,可用補零、複製邊緣像素、或反射影像,各有不同的瑕疵。第二是成本:k 乘 k 的核天真地對每個像素需要 k 平方次乘法,但若核可分離,能分解成兩個一維核的外積,便可先做一次水平掃描再做一次垂直掃描,把成本降到每像素 2k,這是高斯與 Sobel 濾波器善用的巨大節省。

權重全為 1/9 的 3x3 核會把每個像素與它的八個鄰居取平均(方框模糊);把中心權重換成 9、其餘換成 -1,則把效果反轉成銳化濾波器,同一套機制、相反的結果。

為何重要:每個線性非時變濾波器都由其核(即脈衝響應)完整描述。掌握「核即脈衝響應」這個觀念,便能打開傅立葉視角,讓令人困惑的空間運算變成頻譜的簡單相乘。

又稱
convolution filtercorrelation filterkernel filtering