協方差矩陣

協方差矩陣是一份緊湊的台帳，記錄一組變數如何共同變動。對角元 C_ii 是特徵 i 的變異數（它自身抖動多少）；非對角元 C_ij 是特徵 i 與 j 的協方差（它們是同漲同跌、相反，還是各自獨立？）。

形式上，對以列為樣本的中心化資料，C = (1/(n-1)) X^T X。該矩陣對稱（C_ij = C_ji）且半正定：對任意方向 w，w^T C w 等於資料投影到 w 上的變異數，永不為負。正是這半正定性，使它所有特徵值都是實的且非負。

它的特徵向量是資料的主軸，特徵值是沿這些軸的變異數，這正是 PCA 背後的引擎。一團高斯雲的整個幾何都由 C 刻畫：它的特徵向量定出等密度橢球的朝向，特徵值的平方根定出橢球各半軸的長度。

一個警示：當特徵數多於樣本數時，C 秩虧且奇異，因此有些特徵值恰為零。從有限資料中良好地估計 C 本身是一門學問（收縮與正則化），因為在高維中原始樣本協方差雜訊很大。