奇异值分解

由 SVD 得到谱范数

一个矩阵有多大?不是逐元素地看,而是作为变换来看——它能把一个向量放大多少?谱范数回答了这个问题:||A||_2 = max(在 ||x|| = 1 上)||Ax||。它是 A 施加给任意单位向量的最大拉伸,即映射的最坏增益。而 SVD 让它一目了然:||A||_2 = sigma_1,即最大奇异值。

原因在于 SVD 的几何。A 把单位球变成一个椭球,其各半轴的长度等于诸奇异值;最长的半轴是 sigma_1,恰在第一个右奇异向量 v_1 的方向上达到(它落到 sigma_1 u_1 上)。没有任何单位输入能被拉伸得更多,而 v_1 正好命中最大值,故算子范数恰为 sigma_1。

这是由向量上的欧几里得范数所诱导的算子范数,故有下标 2。它确实是矩阵上的一个范数——满足三角不等式,更关键的是它次可乘:||AB||_2 <= ||A||_2 ||B||_2。正是这种次可乘性使它成为界定误差在线性操作链中传播的主力。

把它和弗罗贝尼乌斯范数对比:后者把所有奇异值的平方相加;谱范数只在乎那单个最大的。所以谱范数度量最坏情形的拉伸,而弗罗贝尼乌斯度量总能量。做敏感性与稳定性分析时你通常想要谱范数,因为它是 A 能把输入放大多少的紧界。

||A||_2 = sigma_1 = max_{||x||=1} ||Ax||, attained at x = v_1

算子 2-范数就是最大的奇异值,由第一个右奇异向量达到。

不要把谱范数(最大奇异值)与谱半径(最大 |特征值|)混淆。它们对正规矩阵相等,但谱范数永远不小于谱半径。

又称
operator 2-norm||A||_2