聯合分布、共變異數與相關
共變異數的雙線性(bilinearity of covariance)
共變異數的行為很像隨機變數之間的某種乘法,而和乘法一樣,它對加法有分配律、能把常數提出來 —— 並且在它的兩個位置上各自獨立成立。這個性質叫做雙線性,正是它讓共變異數與變異數的計算變得機械化而非神秘。
明確寫出:Cov(aX + b, Y) = a Cov(X, Y) —— 常數可乘穿過去,而加上常數 b 毫無影響,因為平移一個變數並不改變它如何共同變動。它也有分配律:Cov(X + Z, Y) = Cov(X, Y) + Cov(Z, Y)。第二個位置同理,所以你可以把任意線性組合的 Cov 逐項展開,就像把括號乘開一樣:Cov(對 i 加總 a_i X_i, 對 j 加總 b_j Y_j) = 對 i、j 的雙重加總 a_i b_j Cov(X_i, Y_j)。兩個有用的定錨點:Cov(X, X) = Var(X);以及若 X 與 Y 獨立,則 Cov(X, Y) = 0。
雙線性是幾乎每一個多變數變異數計算背後的槓桿 —— 最重要的是和的變異數,以及平均值的標準誤。期望值的線性永遠讓你能把平均值相加;共變異數的雙線性則是配套規則,讓你能把變異數組裝起來,其中共變異數項恰好在變數不獨立時才出現。
Var(X + Y) = Cov(X + Y, X + Y) = Cov(X, X) + Cov(X, Y) + Cov(Y, X) + Cov(Y, Y) = Var(X) + Var(Y) + 2 Cov(X, Y)。交叉項 2 Cov(X, Y) 恰好在 X 與 Y 不相關時消失。
雙線性讓你像展開括號一樣把 Var(X + Y) 乘開。
獨立給出 Cov = 0,但 Cov = 0 不給出獨立 —— 所以你可以從共變異數組裝出和的變異數,但交叉項為零只代表不相關,未必獨立。
又称
另见