條件機率、獨立性與貝氏定理

兩兩獨立與相互獨立

當你有三個或更多事件時,「獨立」可以指兩種不同強度,而兩者之間的落差會坑害粗心者。兩兩獨立指這些事件中每一對都獨立:A 與 B 相乘成立、A 與 C 相乘成立、B 與 C 相乘成立。相互(完全)獨立更強:不只每一對,而是每一個子集合都相乘成立,包含三者一起——P(A and B and C) = P(A)P(B)P(C)。

令人意外的事實是:兩兩獨立並不蘊含相互獨立。著名的反例:投擲兩枚公正硬幣,定義 A =「第一枚是正面」,B =「第二枚是正面」,C =「兩枚相同」(皆同)。A、B、C 各有機率 1/2,且其中任兩個都獨立——例如知道第一枚是正面,對它們是否相同毫無透露。然而三者合起來並非相互獨立:若你知道 A 與 B(皆正面),那麼 C 被強制為真,所以 P(C given A and B) = 1,而非 1/2。兩兩檢查全部通過,聯合關係卻被牢牢決定了。

這之所以重要,是因為許多證明與構造悄悄需要完全的相互獨立——乘法法則 P(A1 and … and An) = 各 P(Ai) 之乘積只在相互獨立下成立,光靠兩兩不行。當你假設「這些事件獨立」時,要清楚你指的是哪一種。兩兩獨立對某些二階動差論證(總和的變異數)已足夠,但要讓聯合分布完全分解,你需要的是完全獨立。

兩枚硬幣:A = 第一枚正面,B = 第二枚正面,C = 相同。兩兩:P(A and C) = P(皆正面) = 1/4 = (1/2)(1/2),其他對也類似——全部獨立。但 P(A and B and C) = P(皆正面) = 1/4,而 P(A)P(B)P(C) = 1/8。不相等,所以並非相互獨立。

所有對都相乘成立,三者卻不成立——兩兩獨立確實較弱。

n 個事件的相互獨立,要求乘積法則對大小由 2 到 n 的每一個子集合都成立——這樣的條件有 2^n 減 n 減 1 個,不只是兩兩那些。

又稱
pairwise independencemutual independencejoint independence兩兩獨立相互獨立