最小平方法與資料擬合

截斷奇異值分解(truncated SVD)

截斷奇異值分解是吉洪諾夫正則化那位直率果決的表親。A 的 SVD 把它拆成依奇異值排序的各個方向,從最強、最乾淨的方向一路到最弱的。在病態的最小平方問題中,奇異值極小的那些方向正是雜訊被放大得最厲害之處。截斷 SVD 乾脆把那些脆弱方向丟掉——保留強壯的少數、捨棄其餘——再從倖存者重建解。這是靠截肢而非溫和阻尼來正則化。

機制上,寫 A = U Sigma V^T,奇異值 sigma_1 >= sigma_2 >= ... 。偽逆解把各項貢獻 (u_i^T b / sigma_i) v_i 對所有 i 加總,而除以極小的 sigma_i 正是雜訊爆炸的根源。截斷 SVD 只保留 sigma_i 高於某選定門檻的項(最大的 k 個奇異值),其餘整個丟掉。等價地說,它在求解前把 A 換成其最佳秩 k 逼近(Eckart-Young 定理說這逼近是最優的)。吉洪諾夫對每個方向乘上介於 0 與 1 之間的平滑濾子,截斷 SVD 則用硬性開/關濾子:保留的方向為 1,截掉的為 0。

用哪個?它們是目標相同的姊妹——壓制嘈雜的小奇異值方向——往往給出相近的結果。當奇異值中有明顯的「斷層」(清楚的數值秩)時,截斷 SVD 特別自然,讓你恰好在斷層處切下去。它的代價是你需要 SVD(比 QR 貴)且必須選截斷層級 k,這與吉洪諾夫的 lambda 是同一類偏差-變異選擇。兩者都是去模糊與斷層成像這類離散不適定反問題的核心工具,那裡底層算子確實有必須妥善處理而非反轉的極小奇異值。

若 A 的奇異值為 (10, 8, 5, 0.002, 0.0009),第三個之後有明顯斷層。保留 k = 3、捨棄最後兩個,可避免除以 ~0.001(那會把雜訊乘上 ~1000),從三個可信賴的方向給出穩定解。

保留強壯的奇異方向、切掉嘈雜的弱方向——以硬性門檻來正則化。

截斷 SVD 是硬性開/關濾子,吉洪諾夫則是平滑的;截斷層級 k 扮演與 lambda 相同的偏差-變異角色。切得太狠會丟掉真訊號,切得太少會留下雜訊——沒有放諸四海皆準的門檻。

又稱
TSVDtruncated singular value decompositionspectral cutoff截斷SVDTSVD正則化