聯合分布、共變異數與相關

全變異數公式(law of total / conditional variance)

一個量的總不確定性可以來自兩個來源:每種情境「之內」的分散,以及隨著你切換情境時情境「之間」的分散。全變異數公式把總變異數乾淨地拆成恰好這兩塊。

它說 Var(X) = E[ Var(X given Y) ] + Var( E[X given Y] )。第一項 E[Var(X given Y)] 是在固定 Y 之後 X 殘留變異性的平均 —— 組內、未被解釋的分散。第二項 Var(E[X given Y]) 是隨 Y 變動時各條件平均本身的變異性 —— 知道 Y 便能解釋的組間分散。兩者皆非負,故總變異數永遠至少不小於任一塊。一個方便的記法:條件變異數的平均,加上條件平均的變異數。

這個分解是變異數分析的骨幹,是迴歸與預測中「已解釋 vs. 未解釋」變異概念的骨幹,也是混合模型與階層模型的骨幹。它量化了一個預測變數 Y 原則上能移除多少結果的不確定性(組間項),相對於在已知 Y 之下不可化約的雜訊有多少(組內項)。它是全期望公式的天然搭檔 —— 兩者合起來讓你能藉由條件化來計算平均與變異數。

隨機挑兩座工廠之一;A 廠產量平均 100、變異數 4,B 廠平均 120、變異數 9。組內項 E[Var(X given Y)] = (4 + 9)/2 = 6.5。組間項是兩個平均 100 與 120(各機率 1/2)的變異數,為 100。總 Var(X) = 6.5 + 100 = 106.5 —— 大部分變異性來自工廠之間。

總變異數 = 組內變異數的平均 + 各組平均的變異數。

兩項皆非負,所以對 Y 條件化絕不會把平均組內分散推高到超過總量 —— 它只能把變異數在兩個盒子之間移動,絕不憑空製造。

又称
variance decompositionEve's law全變異數法則變異數分解