聯合分布、共變異數與相關

隨機變數的獨立(independence of random variables)

兩個隨機變數獨立,意思是得知其一的值對另一者毫無透露。知道東京一顆骰子如何落地,不該改變你對利馬一枚硬幣的看法 —— 那些結果彼此不攜帶任何資訊。獨立就是這個想法的精確版本。

嚴格來說,X 與 Y 獨立的條件是:對任何範圍的選擇,P(X 落在 A「而且」Y 落在 B) = P(X 落在 A) 乘以 P(Y 落在 B)。等價地說,聯合分布處處分解為兩個邊際的乘積,且對每個 x,Y 在已知 X 時的條件分布都等於 Y 的單純邊際 —— 所有切片看起來都一樣。其中任一陳述都蘊涵其餘;它們是同一性質的不同面貌。

獨立極為方便:它使得和的變異數直接相加,讓你能用相乘而不必與相依性纏鬥,並支撐著整套 i.i.d.(獨立同分布)樣本理論、大數法則與中央極限定理。但要當心兩個陷阱。獨立「不等於」互斥:兩個機率為正卻不能同時發生的事件,其實是最大程度「相依」,而非獨立。另外,兩兩獨立(每一對都獨立)並不蘊涵整組變數的相互獨立。

分別擲一枚硬幣與一顆骰子。P(正面「而且」擲出 6) = (1/2)(1/6) = 1/12 —— 恰為乘積,故兩者獨立。但同一枚硬幣上「正面」與「反面」這兩個事件互斥「而且」高度相依:知道一個是正面,就告訴你另一個沒有發生。

獨立意味著機率相乘;互斥是獨立的反面,而非同一件事。

獨立不等於互斥。兩個機率為正的事件不可能同時是這兩者 —— 互斥事件其實相依,因為其一發生就排除了另一者。

又称
independent random variables獨立隨機變數