奇異值分解
埃卡特-楊定理
假設你必須把一個複雜矩陣 A 換成一個秩至多為 k 的簡單矩陣——更少的因子、更少的存儲、更少的噪聲。秩為 k 的矩陣有無窮多個可選，哪一個離 A 最近？埃卡特-楊定理給出一個驚人簡潔的答案：直接截斷 SVD。保留前 k 個奇異三元組，其餘全部丟棄，你不可能做得更好。
嚴格地說，把 SVD 寫成秩一片段之和，A = sum_{i=1}^{r} sigma_i u_i v_i^T。令 A_k = sum_{i=1}^{k} sigma_i u_i v_i^T 為截斷到前 k 項的結果。定理斷言：在所有秩至多為 k 的矩陣 B 中，A_k 使 ||A - B|| 最小，且這在譜（算子 2-）範數與弗羅貝尼烏斯範數下同時成立。（弗羅貝尼烏斯的情形有時歸功於 Mirsky，他將其推廣到所有么正不變範數。）
殘餘誤差也能直接從奇異值讀出：在譜範數下 ||A - A_k|| = sigma_{k+1}，即你丟棄的第一個奇異值；在弗羅貝尼烏斯範數下 ||A - A_k||_F = sqrt(sigma_{k+1}^2 + ... + sigma_r^2)，即你丟掉的一切的能量。因此若奇異值衰減得快，一個很小的 k 就能捕獲 A 的幾乎全部。
直觀上，奇異三元組按重要性排序：第一個捕獲最多的方差/能量，第二個捕獲剩餘中最多的，依此類推。截斷保留最響亮的信號、丟棄微弱的尾巴——這正是壓縮與去噪所求。這是那種少有的定理之一：最優答案恰好也是最顯然的答案。
min over rank(B) <= k of ||A - B|| is attained at A_k = sum_{i=1}^k sigma_i u_i v_i^T, error = sigma_{k+1}
最佳的秩 k 逼近就是截斷的 SVD；誤差等於第一個被丟棄的奇異值。
只要 sigma_k > sigma_{k+1}，最優解就是唯一的。若這兩個奇異值相等，你就是在平局處下刀，最佳的秩 k 逼近不再唯一。
又稱
另見