影像形成與基礎

混疊

混疊是當你對場景取樣得太粗、無法擷取其細節時所出現的問題:細節並未消失,而是偽裝成一種粗糙、虛假、原本不在場景中的樣式。最經典的日常版本是馬車輪效應(wagon-wheel effect),即一個快速旋轉的輪子以較慢的幀率拍攝時,看起來像在緩慢旋轉或倒轉。在靜止影像中它表現為摩爾紋(moire,細密織物或遠處磚牆上閃爍的漣漪)以及沿平滑斜線出現的鋸齒階梯邊緣(jaggies)。

成因是相對於奈奎斯特極限的欠取樣。取樣定理說,對於所含的最高空間頻率,你每個週期必須取超過兩個取樣;當場景含有高於取樣率一半的頻率時,那些頻率會折返,與真正的較低頻率變得無法區分——不同的輸入彼此互為別名(alias),這正是名稱的由來。由於虛假的樣式如今是一個低頻,取樣後便無法移除:資料一旦記錄下來,高頻原始訊號與它的低頻別名在數學上就是相同的取樣,因此再多的後處理都無法把它們分開。

既然事後無法修補,混疊就必須在取樣之前以抗鋸齒(anti-aliasing)來預防:先低通濾波(模糊)訊號以移除高於奈奎斯特極限的頻率,再取樣。相機在感光元件前使用光學抗鋸齒濾鏡,並對每個像素的有限面積積分光線;繪圖引擎以超取樣(以更高解析度繪製再平均縮小)或多重取樣抗鋸齒處理;正確的影像縮小會在次取樣前先模糊。同樣的原理瀰漫於深度視覺:帶步幅的卷積與池化是會造成混疊的降取樣步驟,這也是為何抗鋸齒(模糊池化,blur-pooling)的降取樣能改善 CNN 的平移一致性。因此混疊不是表面的小困擾,而是「取樣能忠實記錄什麼」這件事上的根本訊號處理極限。

一條違反直覺的規則:在降取樣前加入一點模糊會使結果看起來更銳利、更乾淨,而非更模糊,因為它移除了原本會主導畫面的虛假混疊樣式。為了「保留銳利度」而略過預先濾波,正是製造摩爾紋與爬行邊緣的經典錯誤。

又稱
aliasing artifactmoirejaggies