三維視覺與幾何

對極幾何

想像有兩台相機在拍攝同一個場景。挑出物體上的某一個點,比方說某人鼻尖那一點。它在左邊照片中落在某個特定像素上。那麼同一個鼻尖會出現在右邊照片的哪裡?直覺上你可能以為它可能在任何地方,所以找對應點就得搜尋整張右影像。對極幾何(epipolar geometry)這個漂亮的事實告訴我們:只要知道兩台相機的相對擺放位置,這個對應點就被「逼」到右影像中一條已知的直線上。這把一個二維的搜尋壓縮成一維,也是幾乎所有立體視覺與多視角演算法的基石。

原因純粹是幾何。這個三維點,連同兩個相機中心(每台相機裡光線匯聚的那個小針孔),共同定義出一個平面,稱為對極平面(epipolar plane)。左相機沿著一條射線看到這個點;這條射線投影到右影像中,就成為一條直線——對極線(epipolar line)。真正的對應點一定落在三維中這條射線上的某處,因此它的影像必定落在這條投影直線上的某處。你能想像沿著左射線的每一個三維點,都會對映到同一條右影像直線上的不同位置——這正說明了「深度」(沿射線多遠)與「在直線上的影像位置」其實是在說同一件事的兩種方式。

兩個反覆出現的物件讓這幅圖更精確。基線(baseline)是連接兩個相機中心的線段。基線穿透每個影像平面之處稱為對極點(epipole):右影像中的對極點,字面上就是左相機中心的投影位置,反之亦然。一張影像中所有的對極線都通過該影像的對極點,就像輪輻通過輪轂一樣。當兩台相機被擺成影像平面平行、列對齊的配置(立體相機常用的「校正後」設定),對極點會跑到無窮遠,每條對極線都變成水平掃描線,於是匹配就簡化為沿同一列掃描——這是實務上最簡單也最常見的情形。

對極幾何在代數上由基礎矩陣(fundamental matrix,未校正相機、像素座標)與本質矩陣(essential matrix,已校正相機、正規化射線座標)所刻畫。它純粹是兩台相機相對位姿與內部光學的性質——完全不依賴場景內容。這正是它強大之處:只要從少數幾組對應點估計一次,它就免費地約束了所有其他對應點。

對同一張桌子左右各跨一步拍兩張照片:在左影像點選釘書機的一個角,軟體就會在右影像畫出一條線。對應的那個角保證落在這條線上——於是匹配器只需掃描這條線,而非整張 640×480 的影像,把約 30 萬個候選像素縮減到幾百個。

一個常見的誤解是以為對極線告訴你對應點在哪裡。它只告訴你對應點落在哪條線上;你仍需要光度匹配(或學習式匹配器)才能找出沿著那條線的確切位置,而那個位置正是編碼了深度的資訊。

又称
epipolar constraint核線幾何