最小平方法與資料擬合

摩爾-潘洛斯偽逆(Moore-Penrose pseudoinverse)

/ MOOR PEN-rohz /

一個可逆方陣有真正的逆 A^(-1) 能把它還原。但資料工作中大多數矩陣是矩形或奇異的,沒有正當的逆。摩爾-潘洛斯偽逆,寫作 A^+,是最佳的替身:對任意 A,它給出 A x = b 最合理的「求解」。對高瘦滿秩的 A,它恰好給你最小平方解;對寬矮的 A,它給出長度最小的精確解;介於其間的任何情形,它都做出最接近兩者的事。它是一條公式,在所有情況下都捕捉了「盡可能解好」。

它最乾淨的定義透過 SVD。寫 A = U Sigma V^T,其中 Sigma 的對角線上是奇異值 sigma_1 >= sigma_2 >= ...。則 A^+ = V Sigma^+ U^T,其中 Sigma^+ 是把每個「非零」奇異值取倒數 1/sigma_i(並把零仍留為零)而成。最小平方解於是就是 x = A^+ b。對滿秩高瘦的 A,這等於 (A^T A)^(-1) A^T b——也就是法方程的答案——但透過 SVD 計算它穩定得多,且在 A^T A 奇異時依然有效。偽逆由四條代數「潘洛斯條件」唯一地釘定,這正是為何它是「那個」廣義逆,而非眾多之一。

為何要在意?因為秩虧與近奇異的最小平方問題無處不在——共線的預測變數、特徵多於樣本、冗餘的感測器。當某些 sigma_i 為零或極小時,A^+ 給出範數最小的最小平方解:在所有達到最小殘差的 x 之中,挑最短的那個,是個明智的預設。危險在那些極小的奇異值:sigma_i 近零時 1/sigma_i 會爆炸,所以天真的偽逆會狂烈地放大雜訊。這正是截斷 SVD 與吉洪諾夫正則化要去馴服的東西——也是為何你幾乎絕不該僅為解一個系統就顯式地建出 A^+。

若 A 的 SVD 奇異值為 (4, 2, 0.0001),則 A^+ 使用倒數 (1/4, 1/2, 10000)。最後那個來自近零奇異值,會大幅放大落在該方向上的任何雜訊——這警告問題病態,且那個極小的值大概應該被截斷為零。

偽逆只對非零奇異值取倒數;極小者除非被截斷,否則會放大雜訊。

別為了解一個最小平方問題就顯式建出 A^+——這既浪費又不如直接用 QR 或 SVD 求解準確。偽逆是概念工具;它所反轉的那些極小奇異值,正是病態藏身之處。

又稱
pseudoinversegeneralized inverseA^+A dagger偽逆擬逆廣義逆