投影到行空間（orthogonal projection onto the column space）
這幅圖讓最小平方法顯得必然。當 x 取遍一切時，向量 A x 掃出一個平直的子空間——A 的行空間（range），它座落在 b 所處的更大空間之中。我們的目標 b 一般不在這個子空間裡。子空間中離 b 最近的點是它的影子：從 b 直直地垂下一條垂線落到子空間上，落點就是最近可達的 A x。這個垂足就是 b 到行空間的正交投影，也正是最小平方法所找到的東西。
為何最近點必定是垂足？因為對子空間中任何別的點，從 b 連到它的線段是斜的，而連到一個平面的斜線段總是比垂直線段長（畢氏定理）。所以最小化解 x 就是使 A x =（b 的投影）的那個，而剩下的殘差 r = b - A x 直直地戳出子空間之外——它與 A 的每一行都正交。把這個正交性寫出來，A^T (b - A x) = 0，這字面上就是法方程 A^T A x = A^T b。幾何與代數是同一個事實的兩面。
這個投影觀點解釋了下游的一切：殘差與各行正交，意味著它與每個預測變數不相關（這是迴歸診斷所依賴的事實）；即使 x 不唯一（A 秩虧），投影仍然唯一；而若 P 是投影到行空間的投影矩陣，則 A x = P b。映射 b -> P b 是冪等的（P^2 = P，投影兩次毫無變化）且對稱的（P^T = P，這是「正交」投影而非斜投影的標誌）。
取 b = (0, 0, 3)^T，行空間為 x-y 平面（第三座標為 0 的向量）所張成。該平面中離 b 最近的點是 b 正下方，即 (0, 0, 0)——這就是投影。殘差 (0, 0, 3) 直直向上，垂直於整個平面，印證了正交性。
把 b 直直投影到子空間上；那垂直的影子就是最佳的 A x。
被投影的是 b，不是 x——投影落在行空間中（一個 m 維向量 A x），而 x 本身住在較小的未知數空間裡。與各行正交的是殘差，而非解。