JOVANA
Library Glossary Getting Started Three Levels Fields How it works Mission
Join the mission
All guides

獨立性(以及為何它不是互斥)

獨立性的意思是:知道一個事件,對另一個毫無透露——這是本級裡最乾淨、最好用的觀念。我們會仔細定義它,看它與常被混淆的互斥正面對撞,再推進到微妙之處:兩兩獨立,整組卻不獨立。

獨立性真正在說什麼

本級第一篇把條件機率建立在一幅圖景上:得知 B 發生,會把樣本空間縮小到 B,而 P(A given B) 衡量這個縮小後的世界裡有多少同時也是 A。獨立性是那個特殊而平靜的情形——縮小什麼也沒改變。兩事件 A 與 B 獨立,是指知道 B 發生後,你對 A 的評估完全不變:P(A given B) = P(A)。就預測 A 而言,B 裡的資訊毫無價值。這就是全部的直覺,本篇其餘部分不過是繞著它記帳。

這個定義有個小皺褶:P(A given B) = P(A and B) / P(B) 只在 P(B) 不為零時才有意義。所以獨立事件的課本定義採用一個對稱、不需除法、永遠成立的形式:A 與 B 獨立,恰好是當 P(A and B) = P(A) · P(B)。兩者同時發生的機率,分解成各自機率的乘積。當 P(B) > 0 時你可以除過去,還原成 P(A given B) = P(A);當 P(A) > 0 時則得到 P(B given A) = P(B)。乘積形式是乾淨、官方的定義;條件式則是它的感受。

Definition (always valid):  P(A and B) = P(A) * P(B)

Equivalent when P(B) > 0:   P(A given B) = P(A)
Equivalent when P(A) > 0:   P(B given A) = P(B)
同一觀念的三張面孔。要記住乘積形式,因為它從不除以零。

獨立不是互斥——兩者幾乎相反

這就是本篇要消滅的混淆。互斥(不相交)事件是不可能同時發生的:A 與 B 沒有共同結果,所以 P(A and B) = 0。獨立事件則是其中一個發生對另一個毫無透露。人們把兩者都聽成模糊的「無關」,便以為是同一回事。它們不只是不同——對正機率的事件來說,它們幾乎是不相容的。若 A 與 B 互斥且都有正機率,那麼得知 B 發生,就告訴你 A 一定沒發生。這是最強的相依,與「什麼也沒告訴你」恰恰相反。

代數把它釘死。設 A 與 B 互斥,所以 P(A and B) = 0。要它們同時獨立,需要 P(A and B) = P(A) · P(B),即 0 = P(A) · P(B)。這只有在 P(A)、P(B) 至少一個為零時才成立。所以兩個正機率事件不可能既互斥又獨立——永遠不會。互斥是關於結果的陳述(無重疊);獨立是關於機率的陳述(它們相乘)。把兩者混淆,就像把「這兩條路永不相交」當成「這兩條路彼此的車流毫無資訊」。

為何乘積規則如此好用

前幾篇的乘法規則給出一般的分解 P(A and B) = P(A) · P(B given A),那個條件因子是事件彼此影響所付的代價。獨立性正是這個代價降為零的情形:P(B given A) 塌縮成 P(B),鏈式法則化成單純的乘積。這正是獨立性成為建模主力的原因。擲一枚公正硬幣三次,八種序列由一條規則支配:P(正、正、反) = (1/2)(1/2)(1/2) = 1/8,因為各次投擲互不交談。無須條件機率的體操,相乘即可。

獨立性也從另一面戳破賭徒謬誤。公正輪盤的每一轉都獨立於上一轉,依定義即過去的轉動不帶任何資訊:P(第 6 轉為紅 given 前五轉皆紅) 仍是 P(紅)。輪盤沒有記憶,沒有「拉平」的義務。賭徒謬誤的核心,就是拒絕相信 P(A given B) = P(A) 在它真正成立時依然成立。而誠實的對沖不是「它很快就會拉平」,而是幾級之後的大數法則:長期平均會安定下來,但任何特定的短期序列盡可保持失衡。

三個以上事件:兩兩獨立還不夠

一旦有三個以上事件,「獨立」就分成兩種強度,沒看出差別是經典陷阱。兩兩獨立指每一對都相乘:P(A and B) = P(A)P(B),A,C 與 B,C 亦然。互相(完全)獨立要求更多——每個子集都相乘,包含三元組:P(A and B and C) = P(A)P(B)P(C)。互相獨立蘊含兩兩獨立,反之則否,而這個落差是真實的,不是技術細節。你可以有三個事件,任取兩個都完美獨立,但三個一起看卻緊密相連。這正是兩兩獨立與互相獨立的核心。

最乾淨的例子:擲兩枚公正硬幣。令 A =「第一枚為正」、B =「第二枚為正」、C =「兩枚相同」。每個機率都是 1/2。檢查各對——A 與 C:第一枚為正且兩枚相同,意味兩枚皆正,機率 1/4 = (1/2)(1/2),獨立。由對稱性 B 與 C 也獨立,而 A 與 B 顯然獨立。所以三對全都獨立。但 P(A and B and C) 就是 P(兩枚皆正) = 1/4,而 P(A)P(B)P(C) = 1/8。不相等——三元組失敗了。而且必然失敗:一旦你知道 A 與 B,C 就被完全決定,所以三個一起絕非獨立。

另外兩個誠實的提醒

第一,獨立性會隨條件化而出現或消失。整體獨立的兩個事件,一旦固定第三個就可能變得相依——反向也會發生。這件事的乾淨版本是條件獨立:當 P(A and B given C) = P(A given C) · P(B given C) 時,A 與 B 在給定 C 下條件獨立。這是它自成一格的關係,既不蘊含、也不被普通獨立蘊含。一幅著名圖景:兩名學生的考試分數整體看來可能相關(好日子、好食堂、簡單題目),但一旦條件化於他們實際考的那場考試,便互相獨立。獨立性永遠相對於你所固定的資訊而言。

第二,當我們從事件走向隨機變數,獨立性有個較弱、並不對等的近親:零相關。獨立的變數必定不相關,但不相關不蘊含獨立。相關只看得見直線式的線性關聯;一個變數可以透過曲線決定另一個,卻仍呈現 Cov(X, Y) = 0。課本例子是 X 均勻分布於 (-1, 1) 而 Y = X^2:知道 X 就把 Y 完全釘死,所以它們幾乎是最相依的,但由對稱性 Cov(X, Y) = E[X^3] - E[X]E[X^2] = 0。零相關排除的是相依的線性影子,從不排除相依本身。