聯合分布、共變異數與相關

多元常態分配與其共變異數矩陣(multivariate normal distribution and its covariance matrix)

把鐘形曲線推進到多個維度,你便得到多元常態 —— 一整個向量 (X_1, ..., X_n) 的聯合分布,其中每個變數都是常態且彼此線性相連。它是統計學、機器學習與金融中最重要的單一多變數分布,因為常態的和與線性混合仍是常態,而代數運算也保持乾淨。

它只由兩個物件決定:一個平均向量 mu,列出每個座標的中心;以及一個共變異數矩陣 Sigma,一張 n 乘 n 的表,其對角元素是變異數 Var(X_i),第 i 列第 j 行的非對角元素是 Cov(X_i, X_j)。這個矩陣是對稱的(Cov 對稱)且半正定的(變數的任何組合都不可能有負變異數)。Sigma 編碼了整個相依結構:密度的橢球等高面由它的特徵向量與特徵值決定方向與拉伸。密度本身就是那個 n 維的鐘形,e 的(負二分之一乘以 (x - mu) 轉置 Sigma 反矩陣 (x - mu))次方。

多元常態有出色的封閉性質:任何變數子集仍是多元常態(邊際);在已知其中一部分時的任何條件仍是多元常態,平均移動、共變異數縮減;而向量的「任何」線性變換 A x + b 仍是多元常態。一如二維情形,聯合常態座標之間的共變異數為零,意味著它們其實獨立 —— 這是常態家族特有的性質,對一般變數並不成立。

一個三項資產的投資組合,其報酬被建模為共變異數矩陣 Sigma 的多元常態。配置 w_1 X_1 + w_2 X_2 + w_3 X_3 的變異數為 w 轉置 Sigma w,它用上了 Sigma 的每一個元素。挑選權重以最小化這個二次型、在變異數與共變異數之間取得平衡,正是投資組合最佳化的核心。

共變異數矩陣把任何線性組合的變異數化為二次型 w 轉置 Sigma w。

共變異數矩陣必須對稱且半正定。在一個聯合常態向量內,共變異數為零「確實」蘊涵獨立 —— 但這是常態特有的,並非通則。

又稱
MVNmultivariate Gaussian多變量常態多維常態