奇異值分解
SVD 的存在性
整個領域的招牌定理普適得驚人：每個矩陣，無一例外，都能分解為 A = U Sigma V^T。不只是方陣，不只是可逆矩陣，不只是可對角化矩陣——任意 m×n 實矩陣都行。這正是 SVD 成為線性代數中最普適分解的原因。
各因子是這樣的。U 是 m×m 正交矩陣，其列為左奇異向量；V 是 n×n 正交矩陣，其列為右奇異向量；Sigma 是一個 m×n 的對角形矩陣，主對角線上排著奇異值 sigma_1 >= sigma_2 >= ... >= 0，其餘位置全為零。（在複數域上，U 與 V 為么正矩陣，V^T 變為 V^*。）
為什麼它總是存在？矩陣 A^T A 對稱且半正定，於是譜定理交給你一組帶非負特徵值的標準正交特徵基——它們成為 V 以及奇異值的平方。對非零的諸 sigma 令 u_i = (1/sigma_i) A v_i 得到標準正交的左向量，再擴充為 U 的一整組標準正交基。這個構造永不失敗，因為對稱矩陣的譜定理永不失敗。
回報是：關於 A 你想知道的一切——它的秩、範數、四個子空間、最佳低秩逼近、偽逆——都能直接從這三個因子讀出。在非方陣或虧損矩陣上特徵值方法會卡殼，而 SVD 始終交付一個標準正交、對角的核心。
A = U Sigma V^T, U^T U = I_m, V^T V = I_n, Sigma = diag(sigma_1, ..., sigma_r, 0, ..., 0)
外側是正交的 U 與 V，中間是裝著奇異值的對角方塊——對任意 A 都成立。
SVD 本質上是唯一的：奇異值是被強制確定的，奇異向量則在符號以及任何重複奇異值子空間內旋轉的意義下唯一。因此 U 與 V 並非完全剛性，但 Sigma 始終如此。
又稱
另見