左右奇異向量

每個奇異值 sigma_i 都伴隨兩個方向：輸入空間中的右奇異向量 v_i，以及輸出空間中的左奇異向量 u_i。右向量是那些被 A 乾淨地映射到被拉伸的輸出方向上的特殊輸入方向；左向量則是它們的落點。定義關係是 A v_i = sigma_i u_i——把 A 作用於 v_i，便得到被 sigma_i 縮放的 u_i，其間沒有任何旋轉摻雜。

兩族向量都是標準正交的。右奇異向量 v_1, ..., v_n 構成 R^n（輸入空間）的一組標準正交基；左奇異向量 u_1, ..., u_m 構成 R^m（輸出空間）的一組標準正交基。v_i 是 A^T A 的特徵向量，u_i 是 A A^T 的特徵向量，二者通過 u_i = (1/sigma_i) A v_i（當 sigma_i 非零時）聯繫在一起。

這正是 SVD 威力的祕密所在：一旦使用這些特殊的基，A 就變得簡單。在輸入端用 v-基、輸出端用 u-基時，A 所做的無非是把第 i 個坐標縮放 sigma_i 倍——所有雜亂的非對角相互作用都消失了。這個變換讀起來就是：旋轉（對齊到諸 v）、拉伸（乘以諸 sigma）、再旋轉（對齊到諸 u）。

提醒：當某個奇異值重複時，它的奇異向量只在那個共享子空間內旋轉的意義下被確定，正如重複的特徵值給出特徵子空間而非單個特徵向量。而當 sigma_i = 0 時，對應的 v_i 落在 A 的零空間中——A 把它送到零——同時多出來的諸 u 張成 A 永遠無法觸及的那部分輸出空間。