期望值、變異數與動差

動差母函數(moment generating function)

一個一個算動差——E[X]、E[X^2]、E[X^3]、...——既乏味,每個又是各自的積分。要是有一個單一函數能一次儲存所有動差、並能用一次快速的微分把任何一個交出來呢?這正是動差母函數所做的:它是一座動差工廠。

它定義為 M_X(t) = E[e^(tX)],是一個輔助變數 t 的函數。訣竅在冪級數展開 e^(tX) = 1 + tX + (tX)^2/2! + (tX)^3/3! + ...;逐項取期望值,M_X(t) = 1 + t E[X] + t^2 E[X^2]/2! + ...。於是動差就坐在係數裡。要取出第 k 階動差,微分 k 次再令 t = 0:E[X^k] = M_X^(k)(0)。在 0 的一階導數給出均值,二階給出 E[X^2],以此類推——一個整潔的物件,盛裝所有動差。

動差母函數還有個神奇的乘法規則:對獨立的 X 與 Y,和的母函數是各母函數的乘積,M_{X+Y}(t) = M_X(t) M_Y(t)。這把「相加隨機變數」這個困難問題變成簡單的乘法,這也是如何證明獨立常態之和仍是常態。而當母函數在 0 的鄰域內存在時,它唯一決定分布——母函數相同就意味分布相同。最大的提醒:動差母函數「不一定」存在,因為對重尾變數 E[e^(tX)] 可能發散(對數常態與柯西就沒有可用的母函數)。這正是為什麼機率學家常改用永遠存在的特徵函數 E[e^(itX)]。

對 X ~ 指數分配、率為 lambda,M_X(t) = lambda/(lambda - t)(當 t < lambda)。微分一次再令 t = 0:M_X'(t) = lambda/(lambda - t)^2,故 E[X] = lambda/lambda^2 = 1/lambda——均值直接掉出來,不需要另一個積分。

M_X(t) = E[e^(tX)]:在 t=0 微分 k 次即可讀出第 k 階動差。

對對數常態或柯西這類重尾分布,動差母函數可能不存在(積分發散)。特徵函數 E[e^(itX)] 永遠存在,這就是為什麼一般理論偏好用它。

又稱
MGFmgfM_X(t)動差生成函數