奇異值分解（SVD）

奇異值分解把任意矩陣 A（無論是否方陣，甚至高瘦或矮寬的矩陣）寫成 A = U*S*V^T。其中 U 和 V 是正交矩陣（即旋轉或反射），S 是對角矩陣，存放從大到小排列的非負奇異值。它是整個線性代數中最一般、也可以說最重要的分解。

從幾何上看它講了一個很美的故事：任何線性映射，無論看上去多麼糾纏，其實都是三個簡單步驟的偽裝。先旋轉（V^T），再沿每個座標軸按對應的奇異值拉伸（S），然後再旋轉一次（U）。奇異值衡量該映射沿各個主方向把空間拉伸了多少。

正因為它對每個矩陣都適用，又揭示出這種乾淨的結構，SVD 成為許多應用的基石：它支撐著低秩近似與影像壓縮、主成分分析、條件數，以及穩健求解最小平方問題的方法。如果只深入學一種分解，那就學它。