運動與視訊

相關濾波追蹤

相關濾波追蹤學習一個小濾波器,當它在搜尋區域上滑動(做相關運算)時,恰好在目標處產生一個尖銳峰值,而其他地方近乎為零。讓它快得驚人的訣竅是在傅立葉域中做這個滑動,因為在那裡相關運算變成單一一次逐元素相乘。這類追蹤器是一個分水嶺,因為它們能在 CPU 上以每秒數百格執行,同時維持準確。

奠基性的 MOSSE 濾波器(2010)學習一個濾波器 h,使其相關輸出最佳地匹配一個期望響應(通常是一個峰值落在目標中心的二維高斯),方法是最小化平方誤差;這個最小平方問題有閉合形式解,可逐格直接在頻域中求解。更深層的洞見(Henriques 的 KCF,2014)是:一個基礎影像塊的「所有循環位移」構成一個循環矩陣(circulant matrix),而它能被離散傅立葉變換(DFT)對角化。這意味著追蹤器幾乎免費地隱式訓練在成千上萬個位移後的負樣本上,且嶺迴歸(ridge regression)解化簡為傅立葉變換的逐元素相除,即便使用核(如高斯核或多項式核)讓分類器變得非線性也是如此。

從這個核心衍生出一整個家族:KCF 加入多通道 HOG 特徵以大幅提升準確度;DSST 與 SAMF 加入顯式尺度估計(基礎濾波器只處理平移);後來的追蹤器則以深度 CNN 特徵(C-COT、ECO)取代手工特徵,以速度為代價登頂各項基準。一個內建的注意事項是邊界效應(boundary effect):循環/週期性假設意味著訓練樣本會在影像塊邊緣處環繞接合,產生假影並限制搜尋範圍,空間正則化變體(SRDCF)與背景感知濾波器(BACF)便是為修正它而設計。

對一張臉做 MOSSE:取第一個影像塊、做 FFT,閉合形式求出相關輸出峰值落在臉部中心的濾波器;之後每一格只需一次 FFT、一次逐元素相乘、一次反 FFT 即可定位,接著對濾波器做線上更新。

速度來自一個「謊言」:假裝影像塊是週期性的,好讓 DFT 對角化得以套用。真實目標並非週期性的,因此循環位移的訓練樣本在邊界附近部分是虛構的,產生邊界效應,限制了濾波器能搜尋的範圍——直到後續研究放寬了這個假設。