條件期望與條件化

作為 L^2 投影的條件期望(conditional expectation as an L^2 projection)

有一種美麗的幾何方式看待條件期望,只要 X 有有限變異數就成立。把平方可積的隨機變數想成一個無窮維空間裡的「向量」,內積由 E[X 乘以 Y] 給出。兩個變數之間的距離平方是 E[(X - Y)^2],也就是均方誤差。在這個空間裡,所有 G-可測的變數構成一個平坦的子空間——一個「過原點的平面」。對 G 取條件,不過就是從 X 往那個平面作垂線。

精確地說:E[X given G] 是 X 在 L^2(G)(G-可測且平方可積的變數所成的子空間)上的正交投影。這表示它是平面上離 X 最近的點——唯一使 E[(X - Z)^2] 最小的 G-可測 Z。最小化性質與垂直性質是一體兩面:殘餘 X - E[X given G] 與整個子空間正交,這恰恰就是部分平均/正交條件:對每個 G-可測 Z 都有 E[(X - E[X given G]) Z] = 0。畢氏定理於是讀作 E[X^2] = E[ (E[X given G])^2 ] + E[ (X - E[X given G])^2 ]:X 的長度平方分解為其投影的長度平方加上殘餘部分的長度平方。這條恆等式正是變異數分解的化身。

這幅圖讓抽象定義變得直觀,並給出立即的證明:線性就是投影的線性;塔性就是「先投影、再投影到更小的子空間 = 一次投影到那個更小的子空間」;冪等性(E[E[X given G] given G] = E[X given G])就是「投影兩次不會多做什麼」。誠實的界線:投影建構需要 E[X^2] 有限。對僅僅可積的 X(均值有限、變異數可能無限),你無法用 L^2 幾何,必須回到 Radon-Nikodym 路線——不過在兩者皆成立之處,最終的物件是相同的。

在所有 Y 的函數中,哪一個 g(Y) 在均方意義下離 X 最近?答案是 g(Y) = E[X given Y]。任何其他預測 h(Y) 都有 E[(X - h(Y))^2] = E[(X - E[X given Y])^2] + E[(E[X given Y] - h(Y))^2],除非 h = g 否則嚴格地更大。那多出來的畢氏項,正是沒有恰好投影所付的代價。

取條件 = 往 G-可測變數的子空間作垂線。

L^2 投影圖需要二階動差有限,即 E[X^2] < 無窮。對僅僅可積的 X,條件期望仍存在(經 Radon-Nikodym),但幾何證明不適用。

又称
orthogonal projection viewgeometric view of conditioning正交投影觀點幾何觀點