对称矩阵与谱定理

矩阵对称是什么意思

一个矩阵当它等于自身的转置时就是对称的：A = A^T。第 i 行第 j 列的元素等于第 j 行第 i 列的元素。这类矩阵在真实数据出没的地方随处可见——协方差矩阵、距离与相似度表、图论与物理能量背后的矩阵。

对称不是装饰性的细节。它迫使矩阵表现得极为优美，而精确说明这一点的定理就是谱定理。

谱定理说：每个实对称矩阵的特征值全是实数，而且你总能找到一整组两两正交且单位长度的特征向量——一组标准正交基。没有复数，没有缺失的方向，也没有别扭的重根麻烦。把这与一般矩阵对比一下：一般矩阵可能有复特征值，甚至根本凑不齐足够的特征向量。

A = Q*D*Q^T
  Q : columns are orthonormal eigenvectors (Q^T = Q^(-1))
  D : diagonal matrix of the real eigenvalues

因为 Q 是正交矩阵，它的逆就等于它的转置——这是最干净的对角化形式。

当一个对称矩阵的所有特征值都严格为正时，它就是正定的。几何上，每个方向都被拉伸、绝不翻转，于是二次型 x^T*A*x 对非零的 x 永远为正——一只朝各个方向都向上弯的碗。协方差矩阵，以及许多优化与物理问题里的矩阵，都是正定的。