奇異值分解

由 SVD 得到譜範數

一個矩陣有多大?不是逐元素地看,而是作為變換來看——它能把一個向量放大多少?譜範數回答了這個問題:||A||_2 = max(在 ||x|| = 1 上)||Ax||。它是 A 施加給任意單位向量的最大拉伸,即映射的最壞增益。而 SVD 讓它一目了然:||A||_2 = sigma_1,即最大奇異值。

原因在於 SVD 的幾何。A 把單位球變成一個橢球,其各半軸的長度等於諸奇異值;最長的半軸是 sigma_1,恰在第一個右奇異向量 v_1 的方向上達到(它落到 sigma_1 u_1 上)。沒有任何單位輸入能被拉伸得更多,而 v_1 正好命中最大值,故算子範數恰為 sigma_1。

這是由向量上的歐幾里得範數所誘導的算子範數,故有下標 2。它確實是矩陣上的一個範數——滿足三角不等式,更關鍵的是它次可乘:||AB||_2 <= ||A||_2 ||B||_2。正是這種次可乘性使它成為界定誤差在線性操作鏈中傳播的主力。

把它和弗羅貝尼烏斯範數對比:後者把所有奇異值的平方相加;譜範數只在乎那單個最大的。所以譜範數度量最壞情形的拉伸,而弗羅貝尼烏斯度量總能量。做敏感性與穩定性分析時你通常想要譜範數,因為它是 A 能把輸入放大多少的緊界。

||A||_2 = sigma_1 = max_{||x||=1} ||Ax||, attained at x = v_1

算子 2-範數就是最大的奇異值,由第一個右奇異向量達到。

不要把譜範數(最大奇異值)與譜半徑(最大 |特徵值|)混淆。它們對正規矩陣相等,但譜範數永遠不小於譜半徑。

又稱
operator 2-norm||A||_2