奇异值与特征值

这两者总被混淆，且不无道理——在最友好的情形下它们重合。但它们回答的是不同的问题。特征值问的是：A 沿哪些方向表现为纯粹的缩放，A v = lambda v？奇异值问的是：A 在其最被拉伸的方向上把空间拉伸多少，而不管有无旋转？一个关乎不变方向，另一个关乎伸缩的大小。

它们何时对齐？对称半正定矩阵的奇异值恰好等于其特征值。对任意对称矩阵（在 C 上为 Hermitian），奇异值是特征值的绝对值：sigma_i = |lambda_i|。所以特征值为 4 与 -3 的对称矩阵，其奇异值为 4 与 3——唯一的区别就是符号。

一旦离开对称性，它们可能急剧分道扬镳，而这种分歧正是要点。特征值可为负或为复数；奇异值则永远是实数且非负。一个非零矩阵可以所有特征值都为零（如幂零的位移 [0, 1; 0, 0]），却仍有非零奇异值，因为它确实在拉伸空间，尽管没有任何方向只是被缩放。

有一条不等式始终成立、值得牢记：每个特征值的模都被最大奇异值所界定，|lambda| <= sigma_max（这就是谱半径至多为算子 2-范数）。对正规矩阵（与其转置/伴随可交换者），这两个概念又收紧到一起，sigma_i = |lambda_i|，这正是对称、正交、酉矩阵如此表现良好的原因。