加權最小平方法（weighted least squares）

一般最小平方法把每個資料點都當作同等可信。但常常某些量測比其他的更精準——這裡有台精密儀器，那裡有台嘈雜的。加權最小平方法讓你把這件事說出來：你給每條方程式附上一個權重，對你信任的量測給大權重、對不信任的給小權重，於是擬合會更貼近可靠的點。這是有輕重緩急之分的最小平方法。

具體來說，你不再最小化單純的殘差平方和，而是最小化「加權」和 sum_i w_i (A x - b)_i^2，其中每個 w_i > 0 是方程式 i 的權重。寫成矩陣形式就是最小化 (A x - b)^T W (A x - b)，其中 W 是權重的對角矩陣，而加權法方程變成 A^T W A x = A^T W b。一個乾淨的實作方式是把 A 的每一列與 b 的每一項乘上 sqrt(w_i)——把加權問題化為縮放後資料上的一般最小平方問題——再照常用 QR 求解。統計上有原則的選擇是把每個權重設為該量測變異數的倒數，於是嘈雜的點恰按其不確定性的比例被降權（這是 Gauss-Markov 最優估計的核心）。

只要量測品質有差異，加權最小平方法就派得上用場——異質變異（unequal noise）的資料、結合不同精度的感測器，或讓較新的資料更有發言權。把 W 換成完整的（非對角）共變異數矩陣的一般形式，稱為廣義最小平方法，能處理相關的雜訊。實務上的提醒一如各處：選權重是建模決策；糟糕的權重會擬合到雜訊而非訊號，而差異懸殊的權重可能惡化條件數。