奇异值

特征值可能为负、可能是复数，甚至在实数范围内根本不存在；它们只对方阵表现良好。奇异值则是它们彬彬有礼的表亲：任何形状的矩阵都拥有奇异值。几何上它们是映射 A 的伸缩因子：把单位球喂给 A，出来的是一个椭球，而这个椭球各半轴的长度恰好就是奇异值。

严格地说：对任意 m×n 矩阵 A，构造对称半正定矩阵 A^T A。它的特征值全为实数且非负。奇异值 sigma_1 >= sigma_2 >= ... >= 0 就是这些特征值的非负平方根，sigma_i = sqrt(lambda_i(A^T A))。非零奇异值的个数等于 A 的秩。按惯例我们将它们按递减顺序排列。

由于 A^T A 是对称半正定矩阵，其特征值绝不为负，因此平方根总是实数——这正是无论 A 多么任性、奇异值都为实数且非负的原因。最大的 sigma_1 是 A 能把任意单位向量拉伸的最大幅度（即算子 2-范数）；而最小的非零奇异值则告诉你，在 A 真正作用的那些方向上，它离奇异有多近。

你从 m×m 的 A A^T 中会得到同样的数：A^T A 与 A A^T 共享相同的非零特征值，只是用额外的零补齐以适应较大的维数。因此奇异值是映射的内在属性，无论你从输入端还是输出端去看它，结果都一样。