SVD 與四個基本子空間

每個矩陣都帶著四個基本子空間：列空間與左零空間（住在輸出空間 R^m 中），以及行空間與零空間（住在輸入空間 R^n 中）。第一卷通過秩零定理告訴了你它們的維數。SVD 則做得更強：它一次性把這四個子空間的乾淨標準正交基都交到你手裡。

對照表如下，設秩為 r。前 r 個右奇異向量 v_1, ..., v_r 構成行空間的標準正交基；其餘 v_{r+1}, ..., v_n 構成零空間的標準正交基。前 r 個左奇異向量 u_1, ..., u_r 構成列空間的標準正交基；其餘 u_{r+1}, ..., u_m 構成左零空間的標準正交基。對 i <= r 的作用 A v_i = sigma_i u_i 精確展示了 A 如何把行空間送到列空間上。

這使正交關係一目了然：行空間是零空間在 R^n 內的正交補，列空間是左零空間在 R^m 內的正交補。諸 v 把 R^n 乾淨地拆成行空間方向加零方向；諸 u 把 R^m 拆成列空間方向加左零方向——全都成直角、互不重疊。

幾何故事隨之浮現：A 取出任意輸入的行空間部分，把每條行空間軸 v_i 拉伸 sigma_i 倍，落到對應的列空間軸 u_i 上；與此同時它把零空間部分湮滅掉。某種意義上，SVD 就是被徹底標準正交化、明晰化的秩零定理。