把 A 写成秩一片段之和
把 A = U Sigma V^T 逐项乘开，得到外积形式：A = sigma_1 u_1 v_1^T + sigma_2 u_2 v_2^T + ... + sigma_r u_r v_r^T。每个 u_i v_i^T 是一个秩一矩阵，由其奇异值加权。由于 sigma_i 已排序，前面的项承载了 A 的绝大部分。
只保留前 k 项就得到截断 SVD A_k = sum_{i=1}^k sigma_i u_i v_i^T。它是一个秩-k 矩阵——A 的一个有意简化的替身。自然的问题是：在所有秩-k 矩阵中，A_k 是离 A 最近的那一个吗？
Eckart-Young 定理
是的——这就是Eckart-Young 定理，整个应用数学中最有用的结果之一。在所有秩不超过 k 的矩阵 B 中，截断 SVD A_k 同时最小化 ||A - B||_2 与 ||A - B||_F。剩余误差完全由你丢弃的那些奇异值决定。
Eckart-Young (spectral and Frobenius forms):
min over rank(B) <= k of ||A - B||_2 = ||A - A_k||_2 = sigma_{k+1}
min over rank(B) <= k of ||A - B||_F = ||A - A_k||_F
= sqrt(sigma_{k+1}^2 + ... + sigma_r^2)
Spectral-norm sketch:
- A - A_k = sum_{i>k} sigma_i u_i v_i^T, whose top singular value is sigma_{k+1},
so ||A - A_k||_2 = sigma_{k+1}: A_k DOES this well.
- For ANY rank-k B, the (k+1)-dim space span(v_1,...,v_{k+1}) meets null(B)
(dimensions k+1 and >= n-k overlap). Pick a unit x there: B x = 0, and
||A x|| >= sigma_{k+1}. Hence ||A - B||_2 >= sigma_{k+1}. No B beats A_k.伪逆：求解不可解者
大多数矩阵没有逆：要么长方形，要么秩亏。SVD 修复了这一点。能反的就反——那些非零奇异值——其余的不动。这就给出Moore-Penrose 伪逆 A^+ = V Sigma^+ U^T，其中 Sigma^+ 把每个 sigma_i > 0 换成 1/sigma_i 并转置。
于是 x = A^+ b 恰好是 A x = b 的最小范数最小二乘解：在所有使 ||A x - b|| 最小的 x 中，它是最短的那一个。如此，SVD 把求逆、最小二乘与秩亏统一进一个公式。