矩阵分解

谢尔曼-莫里森-伍德伯里公式

假设你已知 A^-1,然后用一个低秩部分扰动 A:A_new = A + U C V^T,其中 U 与 V 是高瘦的(k 列),C 是一个小的 k 阶矩阵。从头重算逆要花 n^3。Woodbury 公式精确地给出新的逆,而把所有重活都放到一个微小的 k 阶矩阵上完成。

恒等式为 (A + U C V^T)^-1 = A^-1 - A^-1 U (C^-1 + V^T A^-1 U)^-1 V^T A^-1。右边唯一需要求逆的非平凡矩阵是 k 阶的容量矩阵 C^-1 + V^T A^-1 U。当 k 很小时(常常 k = 1),它几乎免费。秩 1 的特例 A_new = A + u v^T 就是著名的 Sherman-Morrison 公式。

它是当 A 略有改动时一切廉价重解的代数支柱。卡尔曼滤波、递归最小二乘、高斯过程更新与内点法都用它把一个新观测或约束折叠进现有分解,而无需再付出完整求逆的代价。

两点诚实的告诫。其一,它可能数值不稳定:若容量矩阵近乎奇异,相减会放大误差,正因如此,更新后的三角分解常比显式的 Woodbury 逆更受青睐。其二,它要求容量矩阵可逆,而当该更新会使 A_new 奇异时,这恰恰失效。

(A + u v^T)^-1 = A^-1 - (A^-1 u v^T A^-1) / (1 + v^T A^-1 u)

Sherman-Morrison 的秩 1 情形:一个标量分母取代了完整的重新求逆。

要点在于:对 n 阶矩阵作秩 k 改动,只需求逆一个 k 阶的容量矩阵。当 k 很小时,重解几乎免费。

又称
Woodbury identitymatrix inversion lemmaSherman-Morrison伍德伯里恒等式