一口气回顾整条阶梯
你从把向量和矩阵看作变换空间的机器开始。你学会了用消元解线性方程组,辨认线性无关、基与秩,借助特征值与特征向量读懂变换,并用正交、投影与最小二乘对付不完美的数据。这一级把它们串了起来:每个变换都可以分解成更简单的部件。
你接触过的三个真实系统
图形与游戏。每一次旋转、缩放和镜头移动都是一次矩阵乘法。给角色做动画,就是逐帧地复合变换——正是你学过的那种复合,每秒在 GPU 上跑上百万次。
推荐系统。一张巨大的“用户 x 物品”评分表大半是空的。低秩逼近(借助 SVD)假定少数几个隐藏的口味因子就能解释大多数评分,再去补上空缺。这就是“喜欢这个的人也喜欢……”的原理。
回归与机器学习。给带噪数据拟合一条直线或一个线性模型,就是最小二乘——用 QR 稳定地求解。它是几乎每门统计与机器学习课程里的头一个模型,也是更花哨模型的根基。
graphics : output = R * S * v (compose transforms) recommender : ratings ~= U_k * S_k * V_k^T (low-rank fill-in) regression : min || A*x - b || via A = Q*R
数值现实:条件数
在纸面上,A*x = b 要么有解、要么没有。可在真实计算机上,每个数都带着微小的舍入误差,而有些问题会把这点误差疯狂放大。条件数衡量放大的程度——它是最大奇异值与最小奇异值之比,sigma_max / sigma_min。
接下来去哪
现在你已经握有完整的工具箱了。自然的下一步:数值线性代数(这些分解如何在大规模上又快又稳地算出来)、优化(正定矩阵与梯度在此接棒),以及机器学习——每个模型的每一层,骨子里都是你刚刚掌握的线性代数。