高斯過程及其共變異數函數（Gaussian process）

高斯過程是你在第一冊遇過的高斯（常態）隨機向量的無窮維版本。R^n 中的高斯向量完全由其平均向量與共變異數矩陣描述；類似地，高斯過程 X = (X_t)_(t in T) 是一族隨機變數，對指標集 T 中每個 t 各有一個，且其中任意有限多個 (X_(t_1), ..., X_(t_n)) 為聯合高斯。奇妙之處在於：這個龐大、甚至以連續統為指標的對象，仍只由兩個函數完全決定——一個平均與一個共變異數。

精確地說，X 為高斯過程，是指對任意有限指標 t_1, ..., t_n，向量 (X_(t_1), ..., X_(t_n)) 為多元常態。其分布律於是由平均函數 m(t) = E[X_t] 與共變異數函數 K(s, t) = Cov(X_s, X_t) = E[(X_s - m(s))(X_t - m(t))] 決定。任何共變異數函數 K 必須對稱，K(s, t) = K(t, s)，且半正定：對任意點與實係數 a_i，雙重和 sum a_i a_j K(t_i, t_j) >= 0。這正是「每個有限共變異數矩陣都是真正的（非負）共變異數矩陣」的條件。反過來，由柯爾莫哥洛夫存在定理，任意對稱半正定的 K 與任意平均 m 都來自某個高斯過程。人們幾乎總取 m = 0（中心化高斯過程），因為平均只是一個不帶機率結構的確定性平移。

重要性：高斯世界是無窮維機率中最易處理的角落，因為共變異數函數承載了全部資訊。布朗運動是 K(s, t) = min(s, t) 的高斯過程；布朗橋的 K(s, t) = min(s, t) - st；奧恩斯坦-烏倫貝克過程是平穩高斯過程，K(s, t) = exp(-|t - s|)。路徑的光滑性、上確界的大小、以及集中性，最終都僅由 K 主宰。一個誠實的提醒：聯合高斯遠強於每個 X_t 邊際為高斯——不相關的聯合高斯變數彼此獨立，但僅僅邊際為高斯且不相關的變數未必獨立。