總體最小平方法（total least squares）
一般最小平方法悄悄假設了一件事：你的輸入（那些 x，A 的各行）是精確的，只有輸出（b）帶雜訊。它把誤差量度為每個點到直線的「垂直」間隙。但若 x 也有雜訊呢——每個量測點的兩個座標都不確定？那麼只最小化垂直距離就有偏差。總體最小平方法藉由最小化每個點到擬合直線的「垂足」距離來修正這點，把輸入與輸出的誤差等量齊觀。
一般最小平方法解 A x = b 時只允許調整 b，總體最小平方法則允許「同時」擾動 A 與 b，尋求對資料矩陣 [A | b] 最小的總修正（以 Frobenius 範數計），使系統恰好相容。優美的結果是這由 SVD 求解：建立增廣矩陣 [A | b]，取其 SVD，解來自屬於「最小」奇異值的奇異向量——變異最小的方向，也就是你要塌縮掉的雜訊方向。從幾何上看，對直線擬合，總體最小平方法恰是正交迴歸：它最小化的是垂足距離平方和，而非垂直距離平方和。
何時要緊？只要預測變數本身也帶量測誤差——兩台儀器都不完美的校準、對嘈雜點雲擬合直線、計量經濟與幾何中的變數含誤差模型（如對掃描的 3D 點擬合一個平面）。誠實的注意事項：總體最小平方法假設所有變數的雜訊尺度相當（否則你得先重新縮放），它比一般最小平方法更放大雜訊，因此可能較不穩定；而若你確實知道輸入是精確的，一般最小平方法才是正確、變異較小的選擇。正當在「資料矩陣」本身有雜訊（而不只是右端）時，才使用總體最小平方法。
對一團傾斜、嘈雜、且 x 與 y 都量測不準的點雲擬合直線：一般最小平方法（垂直距離）會把直線壓得較平，受 x 雜訊偏倚；總體最小平方法（垂足距離）則順著點雲真正的軸線——它最大奇異向量的方向，而直線的法向量是 [A | b] 的最小奇異向量。
用垂足距離而非垂直距離——當兩個座標都有雜訊時的正確擬合。
總體最小平方法只在輸入確實有雜訊時才是正確的模型；若 A 的各行精確已知，它徒增變異而無好處，一般最小平方法更佳。它還假設所有變數的雜訊尺度相當——否則你必須先加權或重新縮放。