隨機變數的函數與變換

平方和的分布(卡方)(distribution of a sum of squares)

平方很重要,因為統計中有那麼多是在量測距離,而距離由平方構成。估計的平方誤差、對均值的平方偏差、一個向量的平方長度 —— 全都是平方和。當被平方的那些片段是獨立的標準常態變數時,所得的平方和具有一個著名的分布:卡方分配。

把它建起來。先從一個標準常態 Z 開始;Z^2 的分布用 cdf 方法求出(平方把數線對折,所以 P(Z^2 at most y) = P(-sqrt(y) at most Z at most sqrt(y))),答案是自由度為 1 的卡方分配。現在獨立地加上 k 個這種:若 Z_1, ..., Z_k 是獨立標準常態,則 Z_1^2 + Z_2^2 + ... + Z_k^2 服從自由度為 k 的卡方分配。自由度就是數有多少個獨立的平方常態加了進來。因為它是獨立片段之和,卡方分配可相加:自由度 m 的卡方加上獨立的自由度 n 的卡方,得自由度 m + n 的卡方。

這就是為何卡方在推論中無處不在。樣本變異數是對均值平方偏差的平均,(經縮放後)服從卡方;配適度檢定透過標準化差距的平方和來比較觀測與期望次數;t 與 F 分布由卡方的部件構成。誠實的細節:這個精確結果要求被平方的項是獨立且標準常態的 —— 對其他分布,平方和並非卡方。

投三支飛鏢,其 x、y、z 三方向的偏差是獨立的標準常態。到靶心的平方距離為 Z_1^2 + Z_2^2 + Z_3^2,服從自由度為 3 的卡方分配。它的均值等於自由度 3 —— 一個方便的檢查,因為對每個標準常態 E[Z^2] = Var(Z) = 1。

加上 k 個獨立的平方標準常態,得到自由度為 k 的卡方分配。

被平方的項必須是獨立且標準常態的,平方和才是卡方。同樣的想法是 t 與 F 分布的來源,但「其他分布」的平方並非卡方。

又称
chi-squared from normalssum of squared normals平方和分布卡方分配的由來