期望值、變異數與動差

共變異數(covariance)

變異數衡量一個變數如何抖動。共變異數則對兩個變數問一個關係問題:當 X 高於它的均值時,Y 是否也傾向高於它的均值,或低於它?它是描述兩個隨機量是否一起動、反向動或互不相干的基本建構單元。

形式上,Cov(X, Y) = E[(X - mu_X)(Y - mu_Y)],是兩個偏差乘積的平均。看符號:若 X 與 Y 傾向一起高、一起低,兩個偏差通常同號,乘積通常為正,故共變異數為正。若一個高時另一個傾向低,乘積通常為負,給出負的共變異數。若沒有系統性的對齊,正負乘積大致抵消,共變異數接近零。也有個方便的計算式:Cov(X, Y) = E[XY] - E[X]E[Y]。注意 Cov(X, X) = Var(X)——變異數不過是一個變數與自己的共變異數。

共變異數讓和的變異數變得有趣:Var(X + Y) = Var(X) + Var(Y) + 2 Cov(X, Y),它也是相關係數以及整個投資組合與多變量統計機制的基礎。兩個誠實的警告。它的大小取決於單位,所以「大」的共變異數可能只意味單位大(這就是為什麼我們把它標準化成相關係數)。而且——關鍵地——共變異數只偵測「線性」的共同變動:獨立的變數共變異數為零,但共變異數為零「不」蘊含獨立。一個變數可以完全由另一個決定(比如 Y = X^2、X 對 0 對稱)卻仍與它有剛好為零的共變異數。

讀書時數與考試分數傾向一起上升,故它們的共變異數為正。看電視時數與考試分數傾向反向變動,故那個共變異數為負。但鞋子尺碼與考試分數沒有系統性關聯,故它們的共變異數接近零。

共變異數衡量線性的共同變動:同向為正、反向為負、無對齊為零。

共變異數為零意味沒有「線性」關係,而非獨立。獨立的變數共變異數為零,但反過來不成立——例如 Y = X^2、X 對 0 對稱,Cov(X, Y) = 0,但 Y 完全由 X 決定。

又称
Cov(X, Y)共變數