聯合分布、共變異數與相關
二元常態分配(bivariate normal distribution)
鐘形曲線有個二維的表親。二元常態分配描述一對 (X, Y),其聯合密度在平面上形成一座平滑的鐘形小山,等高線是橢圓。每當兩個量各自大致常態、且以大致線性的方式相關時 —— 身高與體重、兩個相關的考試分數、成對的測量誤差 —— 它就是預設的模型。
它有五個參數:兩個平均值 mu_X 與 mu_Y(山峰中心位置)、兩個標準差 sigma_X 與 sigma_Y(各方向的寬度),以及介於 -1 與 +1 之間的相關係數 rho(橢圓傾斜與壓扁的程度)。當 rho = 0 時等高線與座標軸對齊、兩變數獨立;當 rho 趨向 +1 或 -1,橢圓傾斜並收窄成一條細長的對角雪茄形 —— 這對變數被擠向一條直線。在固定 X 處切這座山,得到 Y 的一條常態曲線(條件常態);把它壓到任一軸上,得到常態邊際。
兩個乾淨的事實使這個分配格外好用、也格外特別。第一,每個邊際與每個條件都本身是常態,且每個條件平均都是條件變數的一條直線 —— 這是線性迴歸的理論家園。第二,在此處(基本上也僅在此處)不相關蘊涵獨立。但要當心:兩個各自為常態的變數「未必」聯合服從二元常態;那個更強的聯合結構是額外的假設,並非自動成立。
把(身高、體重)建模為 rho = +0.7 的二元常態。機率等高線是向右上傾斜的橢圓。在已知身高時,預測體重為常態,其平均隨身高線性上升 —— 正是迴歸線 —— 且分散程度比體重整體更緊(變異數縮放 1 - rho^2 = 0.51)。
相關係數使橢圓等高線傾斜並收窄;條件化沿迴歸線給出一個常態。
每個變數各自為常態,並「不」使這對變數聯合服從二元常態 —— 聯合常態是嚴格更強的條件,必須加以檢驗或假設。
又稱
另見