隨機變數的函數與變換

delta 方法(delta method)

假設你大致知道某個隨機量 X 的均值與變異數,現在你關心它的一個函數 g(X)。重新算出 g(X) 的精確分布可能很難甚至不可能。delta 方法只用微積分 —— g 的一階導數 —— 就給出 g(X) 均值與變異數的快速近似答案。

想法是在 X 的典型值附近,用切線取代曲線 g。若 X 聚在它的均值 mu 附近,那麼在 mu 附近我們有 g(X) 約等於 g(mu) + g'(mu) (X - mu) —— 一條直線近似。線性函數只是平移與縮放,所以均值與變異數可以立刻讀出:E[g(X)] 約為 g(mu),Var(g(X)) 約為 (g'(mu))^2 乘以 Var(X)。斜率 g'(mu) 告訴你函數把輸入的晃動放大或抑制得多強烈:陡的 g 放大變異數,平的 g 縮小它。這個唯一的平方斜率因子就是此方法的核心。

這是科學中誤差傳播的標準引擎,也是統計中漸近標準誤背後的主力:取一個在真值附近大致常態的估計量,把它推過 g,delta 方法便交給你 g(估計量) 的近似標準誤。誠實的限制:它是一階(線性)近似,只在 X 的變動相對於 g 的曲率很小時才準確,且在 g'(mu) = 0 的點附近可能誤導(那裡線性項消失,你需要下一個二階項)。

設 X 的均值為 100、標準差為 5,並令 g(X) = ln(X)。則 g'(x) = 1/x,故 g'(100) = 0.01。delta 方法給出 E[ln X] 約為 ln(100),Var(ln X) 約為 (0.01)^2 乘以 25 = 0.0025,也就是對數尺度上約 0.05 的標準差。小斜率 0.01 把 5 的散布縮成約 0.05。

用 g 在均值處的切線取代它;平方斜率縮放變異數。

它是一階近似:只有當 X 的散布相對於 g 的彎曲程度很小時才可靠。在 g'(mu) = 0 的點附近線性項消失,所以需要改用二階 delta 方法。

又稱
propagation of errorfirst-order approximation of moments誤差傳播一階近似法