條件機率、獨立性與貝氏定理

條件獨立

兩個事件本身可能相依,一旦你得知某個第三事實卻變得獨立。這就是條件獨立:A 與 B 在已知 C 之下條件獨立,是指在 C 為已知的世界裡,得知 A 對 B 不再有任何額外透露。這第三事實 C 解釋掉了 A 與 B 之間表面的關聯。

其定義仿照普通獨立,只是一切都以 C 為條件:A 與 B 在 C 之下獨立,是指 P(A and B given C) = P(A given C) 乘以 P(B given C)。一個淺白的例子:在所有人中,手指被燻黃與罹患肺癌呈正相關——看到一個,另一個就更可能。但這個連結是經由吸菸而來。以「是吸菸者」為條件,在吸菸者之中,燻黃的手指與肺癌就變得(大致)獨立:一旦你知道某人吸菸,他燻黃的手指就不再對他的癌症風險帶有額外資訊。共同原因 C 製造了這個關聯,而以它為條件就把關聯移除了。

條件獨立是現代機率建模的支柱。它讓樸素貝氏垃圾郵件過濾器得以在給定類別下把字詞當作獨立,也讓貝氏網路與隱藏馬可夫模型變得可處理——它們恰恰編碼了當其他變數被觀察後,哪些變數會變得獨立。關鍵的誠實提醒是雙向的:給定 C 的條件獨立既不蘊含、也不被普通(非條件)獨立所蘊含。條件化既能移除相依,也同樣容易製造相依。

一個袋子裡有一枚公正硬幣和一枚兩面皆正面的硬幣;你隨機挑一枚並擲兩次。這兩次投擲整體上並不獨立(兩次正面使兩面皆正的硬幣更有可能,從而提高下一次為正面的機率)。但在已知你拿的是哪一枚硬幣之下,這些投擲是獨立的。以硬幣為條件就恢復了獨立性。

在已知那枚隱藏硬幣之下,投擲彼此獨立;不知道是哪枚硬幣則使它們相依。

條件獨立與非條件獨立在邏輯上互不相干:兩者互不蘊含。以一個共同結果(「碰撞點」)為條件,甚至會在原本獨立的原因之間誘發相依。

又稱
independence given Cconditionally independent在條件下獨立