奇異值與特徵值

這兩者總被混淆，且不無道理——在最友好的情形下它們重合。但它們回答的是不同的問題。特徵值問的是：A 沿哪些方向表現為純粹的縮放，A v = lambda v？奇異值問的是：A 在其最被拉伸的方向上把空間拉伸多少，而不管有無旋轉？一個關乎不變方向，另一個關乎伸縮的大小。

它們何時對齊？對稱半正定矩陣的奇異值恰好等於其特徵值。對任意對稱矩陣（在 C 上為 Hermitian），奇異值是特徵值的絕對值：sigma_i = |lambda_i|。所以特徵值為 4 與 -3 的對稱矩陣，其奇異值為 4 與 3——唯一的區別就是符號。

一旦離開對稱性，它們可能急劇分道揚鑣，而這種分歧正是要點。特徵值可為負或為複數；奇異值則永遠是實數且非負。一個非零矩陣可以所有特徵值都為零（如冪零的位移 [0, 1; 0, 0]），卻仍有非零奇異值，因為它確實在拉伸空間，儘管沒有任何方向只是被縮放。

有一條不等式始終成立、值得牢記：每個特徵值的模都被最大奇異值所界定，|lambda| <= sigma_max（這就是譜半徑至多為算子 2-範數）。對正規矩陣（與其轉置/伴隨可交換者），這兩個概念又收緊到一起，sigma_i = |lambda_i|，這正是對稱、正交、么正矩陣如此表現良好的原因。