一口氣回顧整條階梯
你從把向量和矩陣看作變換空間的機器開始。你學會了用消元解線性方程組,辨認線性無關、基與秩,藉助特徵值與特徵向量讀懂變換,並用正交、投影與最小二乘對付不完美的資料。這一級把它們串了起來:每個變換都可以分解成更簡單的部件。
你接觸過的三個真實系統
圖形與遊戲。每一次旋轉、縮放和鏡頭移動都是一次矩陣乘法。給角色做動畫,就是逐幀地複合變換——正是你學過的那種複合,每秒在 GPU 上跑上百萬次。
推薦系統。一張巨大的「使用者 x 物品」評分表大半是空的。低秩逼近(藉助 SVD)假定少數幾個隱藏的口味因子就能解釋大多數評分,再去補上空缺。這就是「喜歡這個的人也喜歡……」的原理。
迴歸與機器學習。給帶雜訊資料擬合一條直線或一個線性模型,就是最小二乘——用 QR 穩定地求解。它是幾乎每門統計與機器學習課程裡的頭一個模型,也是更花俏模型的根基。
graphics : output = R * S * v (compose transforms) recommender : ratings ~= U_k * S_k * V_k^T (low-rank fill-in) regression : min || A*x - b || via A = Q*R
數值現實:條件數
在紙面上,A*x = b 要麼有解、要麼沒有。可在真實電腦上,每個數都帶著微小的捨入誤差,而有些問題會把這點誤差瘋狂放大。條件數衡量放大的程度——它是最大奇異值與最小奇異值之比,sigma_max / sigma_min。
接下來去哪
現在你已經握有完整的工具箱了。自然的下一步:數值線性代數(這些分解如何在大規模上又快又穩地算出來)、最佳化(正定矩陣與梯度在此接棒),以及機器學習——每個模型的每一層,骨子裡都是你剛剛掌握的線性代數。