冪法與反冪法
冪法是最基本的特徵值演算法,其思想只有一句:不斷用 A 乘一個向量並歸一化。從幾乎任意的 v_0 出發,作 v_{k+1} = A v_k / ||A v_k||。把 v_0 寫在特徵向量基下;每次乘 A 都把沿特徵值 lambda_i 的分量按 lambda_i 伸縮,故 |lambda| 最大的那個分量增長最快並最終占主導。向量收斂到主特徵向量;瑞利商 v^T A v / v^T v 收斂到它的特徵值。
收斂是線性的,由次大與最大特徵值之比 |lambda_2| / |lambda_1| 支配。大的譜隙意味著快速收斂;量級幾乎相等的特徵值意味著痛苦的爬行,而占主導的一對共軛複特徵值會讓它徹底停滯。該法只給你一個特徵對——主特徵對——這有時正是你想要的(谷歌最初的 PageRank 本質上就是對網頁連結矩陣作冪迭代)。
反冪法把這個把戲翻轉過來以瞄準其他特徵值。把冪法施於 (A - mu I)^-1 而非 A。該逆的特徵值是 1/(lambda_i - mu),故 A 中最接近位移 mu 的特徵值成為該逆的主特徵值——反冪法便向它聚焦。每步求解一個以 A - mu I 為係數的線性系統,而非作乘法;把 mu 取在一個已知的近似特徵值附近,收斂就快。
瑞利商迭代把這推向極致:每次反冪迭代步後,把位移 mu 更新為當前瑞利商。位移追逐著特徵值,對對稱矩陣,收斂變為三次——每步大致使正確數字翻三倍。這些位移並求逆的思想正是帶位移 QR 演算法的概念種子。
冪迭代以由兩個最大特徵值之間量級差距決定的速率收斂到主特徵向量。
反冪法以 A - mu I 求解,當 mu 接近真特徵值時它幾乎奇異——理論上駭人,實際上卻有幫助:這種病態恰好放大你想要的特徵向量方向,而後向穩定的求解無論如何都給出準確的特徵向量。