聯合分布、共變異數與相關

全期望公式(law of total expectation)

當一個量難以直接求平均時,往往可以把世界拆成幾種情況,在每種情況內求平均,再按每種情況的可能性加權,去平均這些各情況的平均。全期望公式正是這個兩步平均的精確公式。

它說 E[X] = E[ E[X given Y] ]。由內而外讀:E[X given Y] 是在每個 Y 值之內算出的 X 平均 —— 一個取決於你拿到哪個 Y 的數,因而本身是個隨機變數。外層的 E 再把這個量對 Y 求平均。在離散情形它展開為 E[X] = 對 y 加總 E[X given Y = y] 乘以 P(Y = y):依 Y 拆成各情況、在每種情況取條件平均、再以各情況機率加權。它是全機率公式在期望值上的表親。

這是應用機率中最常用的工具之一。它支撐混合分布與隨機和的計算,讓你能藉由對一個方便的輔助變數條件化來算出困難的期望值,並支撐迴歸(條件平均是最佳預測子)與動態規劃式的遞迴。關鍵的安全條件是內層的條件期望存在;接著塔狀公式便誠實地把它們組裝成整體平均。

一隻母雞下 N 顆蛋,其中 N 服從平均 10 的卜瓦松分配,每顆蛋各自以機率 0.8 獨立孵化。令 X 為孵化的數量。在已知 N = n 時,E[X given N = n] = 0.8 n,故 E[X given N] = 0.8 N。於是 E[X] = E[0.8 N] = 0.8 乘以 10 = 8 隻雛雞。

對輔助變數 N 條件化,取條件平均,再對 N 求平均。

E[X given Y] 是個隨機變數(Y 的函數)而非一個數;外層期望把它對 Y 求平均。把它與單一數 E[X given Y = y] 混為一談,是常見的差錯。

又称
tower propertylaw of iterated expectations全期望法則重期望公式