协方差矩阵

协方差矩阵是一份紧凑的台账，记录一组变量如何共同变动。对角元 C_ii 是特征 i 的方差（它自身抖动多少）；非对角元 C_ij 是特征 i 与 j 的协方差（它们是同涨同跌、相反，还是各自独立？）。

形式上，对以行为样本的中心化数据，C = (1/(n-1)) X^T X。该矩阵对称（C_ij = C_ji）且半正定：对任意方向 w，w^T C w 等于数据投影到 w 上的方差，永不为负。正是这半正定性，使它所有特征值都是实的且非负。

它的特征向量是数据的主轴，特征值是沿这些轴的方差，这正是 PCA 背后的引擎。一团高斯云的整个几何都由 C 刻画：它的特征向量定出等密度椭球的朝向，特征值的平方根定出椭球各半轴的长度。

一个警示：当特征数多于样本数时，C 秩亏且奇异，因此有些特征值恰为零。从有限数据中良好地估计 C 本身是一门学问（收缩与正则化），因为在高维中原始样本协方差噪声很大。