把 A 寫成秩一片段之和
把 A = U Sigma V^T 逐項乘開，得到外積形式：A = sigma_1 u_1 v_1^T + sigma_2 u_2 v_2^T + ... + sigma_r u_r v_r^T。每個 u_i v_i^T 是一個秩一矩陣，由其奇異值加權。由於 sigma_i 已排序，前面的項承載了 A 的絕大部分。
只保留前 k 項就得到截斷 SVD A_k = sum_{i=1}^k sigma_i u_i v_i^T。它是一個秩-k 矩陣——A 的一個有意簡化的替身。自然的問題是：在所有秩-k 矩陣中，A_k 是離 A 最近的那一個嗎？
Eckart-Young 定理
是的——這就是Eckart-Young 定理，整個應用數學中最有用的結果之一。在所有秩不超過 k 的矩陣 B 中，截斷 SVD A_k 同時最小化 ||A - B||_2 與 ||A - B||_F。剩餘誤差完全由你丟棄的那些奇異值決定。
Eckart-Young (spectral and Frobenius forms):
min over rank(B) <= k of ||A - B||_2 = ||A - A_k||_2 = sigma_{k+1}
min over rank(B) <= k of ||A - B||_F = ||A - A_k||_F
= sqrt(sigma_{k+1}^2 + ... + sigma_r^2)
Spectral-norm sketch:
- A - A_k = sum_{i>k} sigma_i u_i v_i^T, whose top singular value is sigma_{k+1},
so ||A - A_k||_2 = sigma_{k+1}: A_k DOES this well.
- For ANY rank-k B, the (k+1)-dim space span(v_1,...,v_{k+1}) meets null(B)
(dimensions k+1 and >= n-k overlap). Pick a unit x there: B x = 0, and
||A x|| >= sigma_{k+1}. Hence ||A - B||_2 >= sigma_{k+1}. No B beats A_k.偽逆：求解不可解者
大多數矩陣沒有逆：要麼長方形，要麼秩虧。SVD 修復了這一點。能反的就反——那些非零奇異值——其餘的不動。這就給出Moore-Penrose 偽逆 A^+ = V Sigma^+ U^T，其中 Sigma^+ 把每個 sigma_i > 0 換成 1/sigma_i 並轉置。
於是 x = A^+ b 恰好是 A x = b 的最小範數最小二乘解：在所有使 ||A x - b|| 最小的 x 中，它是最短的那一個。如此，SVD 把求逆、最小二乘與秩虧統一進一個公式。