是什麼讓一個過程成為高斯的
我們從第一卷停下的地方——單一個隨機向量——出發,把它推廣到一整族有指標的隨機變數。一個實值隨機過程 (X_t)(t 取自某指標集 T)若它任意有限個取值的線性組合都是一維常態變數——等價地說,若對每個有限指標集 t_1, ..., t_n,向量 (X_{t_1}, ..., X_{t_n}) 都服從 多元常態分布——則稱它為 高斯過程(Gaussian process)。指標集 T 可以是時間 [0, infinity)、一個區間、R^d 中的一塊區域,甚至是某個遠為抽象的東西;定義對此毫不在意。要緊的是:高斯性是同時加諸於每一張有限維切片上的。
這條定義之所以是對的——而非例如「每個 X_t 各自為常態」——理由在於:要求一切線性組合皆為常態,恰恰使這個類在我們所在乎的運算下封閉。聯合高斯變數之和仍是高斯,給定一部分求另一部分的 條件期望 是線性的,而高斯變數在 L^2 中的極限仍是高斯。一個「每個 X_t 邊際為常態、但各對並非聯合常態」的族,行為可以非常狂野;正是聯合性的要求,讓我們得到一套理論而非一場巧合。由 常態在加法下的穩定性,你已握有這份封閉性最小的實例。
均值與共變異數:兩個函數承載整個分布律
這裡是高斯世界的核心奇蹟。給過程附上兩個函數:均值函數(mean function) m(t) = E[X_t],以及 共變異數函數(covariance function,又稱核 kernel) k(s, t) = Cov(X_s, X_t) = E[(X_s - m(s))(X_t - m(t))]。由於每張有限切片都是多元常態,而多元常態完全由其均值向量與共變異數矩陣所決定,這對 (m, k) 便決定了每一個有限維邊際的分布律——並因此(如下一節所精確說明的)決定了整個過程的分布律。這就是 高斯過程的均值-共變異數描述,也正是這些對象如此惹人喜愛之故:一個無窮維的隨機對象,竟被一元與二元的尋常函數捕捉住。
把這兩塊按其角色分開是值得的。均值 m(t) 是確定性的骨幹,你可以隨意把它減去——作中心化、把 X_t 換成 X_t - m(t),留下一個零均值的高斯過程,且不損失任何結構資訊,故絕大部分理論都是針對中心化過程發展的。共變異數 k 才是一切有趣問題棲身之處:它編碼了 s 處的取值對 t 處取值的約束有多強,而樣本路徑的光滑性、下一篇所建構的 再生核希爾伯特空間 的幾何、以及本級末尾的集中估計,全都由它流出。當人們說「那個高斯過程」時,幾乎總是指一個固定的中心化過程,而他們真正指向的是它的核。
Gaussian process X = (X_t), index set T
----------------------------------------
Law fixed by: m(t) = E[X_t] (mean function)
k(s,t) = Cov(X_s, X_t) (covariance / kernel)
Finite snapshot (t_1,...,t_n):
(X_{t_1},...,X_{t_n}) ~ Normal( mu, Sigma )
mu_i = m(t_i)
Sigma_ij = k(t_i, t_j)
Kernel MUST be symmetric positive semidefinite:
k(s,t) = k(t,s), and for all c_1,...,c_n in R:
sum_{i,j} c_i c_j k(t_i,t_j) = Var( sum_i c_i X_{t_i} ) >= 0正定性:核必須遵守的唯一規則
並非每個二元函數都能當共變異數,而這個限制既明確又必要。任取指標 t_1, ..., t_n 與任意實係數 c_1, ..., c_n,組成線性組合 Y = sum_i c_i X_{t_i}。它的變異數依定義非負,展開即得 Var(Y) = sum_{i,j} c_i c_j k(t_i, t_j) >= 0。所以 k 必須是一個對稱的 半正定核(positive semidefinite kernel)——你能抽出的每一個矩陣 [k(t_i, t_j)] 都是對稱半正定矩陣。這恰恰就是 正定條件,也正是「k 是一個合法的共變異數」這句話的精確抽象內容。
反方向是整個學科的建構引擎,而最好誠實地把它陳述為一條定理,而非含混帶過。給定 T 上任一對稱半正定核 k(以及任一均值函數 m),就 存在 一個以該均值與共變異數為其均值與共變異數的高斯過程——它在每張有限切片上必有的分布律即是所規定的多元常態,而這些分布律之所以彼此相容,恰恰因為同一個核相容地限制到指標的每一個子集合上。所以正定性不只是必要的;連同相容性,它就是充分的。從這個相容族真正造出過程的這份工作,便由下一節的存在定理來處理。
從核到過程:柯爾莫哥洛夫存在定理
我們已有「每張有限切片之分布律」的配方;我們需要一個單一的機率空間,承載一個如假包換的隨機函數,使其切片與之吻合。這道橋樑是 柯爾莫哥洛夫存在(擴張)定理。它說:給定一族有限維分布(指標集 T 的每個有限子集各一個),若它 相容(consistent)——意即「較大有限集上的分布,限制(邊際化)到任何較小集上時,恰為其所規定的分布」,且在座標排列下不變——則在乘積空間 R^T 上存在一個機率測度,其有限維邊際恰為所規定的那一族。該空間上的座標映射便是過程 X_t。
- 從資料出發:一個指標集 T、T 上的均值函數 m,以及 T x T 上的對稱半正定核 k。
- 對每個有限組 (t_1, ..., t_n),宣告其切片分布為均值向量 [m(t_i)]、共變異數矩陣 [k(t_i, t_j)] 的多元常態;正定性正是使這個矩陣成為合法共變異數的關鍵。
- 驗證相容性:把一個高斯對某些座標邊際化,又得到對應子均值與子核的高斯,故這一族自動相容——這一步是免費的,恰恰因為我們是由同一個共用的核造出每個分布律的。
- 援引柯爾莫哥洛夫擴張,得到 R^T 上的單一測度;在它之下的座標過程便是一個具所欲均值 m 與共變異數 k 的高斯過程。此建構是典範的,且不要求路徑的連續性。
誠實地看待這條定理給了什麼、又沒給什麼。它把過程製造成乘積空間上的一個可測對象,但 R^T 上的乘積 sigma 代數只能掌控「依賴於可數多個座標」的事件——因此像「路徑連續」或「sup_t X_t <= a」這類本質上不可數的事件,在這個粗胚建構中甚至不可測。要得到一個具連續(或其他正則)樣本路徑的版本,是另一個問題,由柯爾莫哥洛夫連續性準則解決;對高斯過程而言,則由核上的熵條件解決,那便是 高斯樣本路徑連續性準則 的主題。分布律的存在與路徑的正則性,是兩條確實不同的定理。
你早已認識的核之畫廊
一旦你看出第一卷裡的那些過程不過是特定的核,這份抽象便活了過來。布朗運動 B_t(在 [0, infinity) 上)是以 k(s, t) = min(s, t) 為核的中心化高斯過程:增量獨立與 Var(B_t) = t 都從這單一公式直接掉出來,這也是為何可以把 布朗運動視為一個高斯過程 當作一個可運作的定義。布朗橋(Brownian bridge)(在 [0, 1] 上)是以 k(s, t) = min(s, t) - s t 為核的中心化高斯過程,兩端都被釘在零;它恰是「B 被條件化為在時刻 1 回到 0」,你在 橋、片與時間反演 的討論中見過它。把一個高斯過程在它某些取值上作條件化,仍是高斯,而橋的核正是那次條件化所產生的。
第二族是 平穩(stationary) 高斯過程,其核只依賴於時間差:k(s, t) = C(t - s)。這裡 奧恩斯坦-烏倫貝克過程 是典範例子,其 C(h) = (sigma^2 / 2 theta) e^(-theta |h|)——相關性的一個平滑指數衰減,使它成為實線上唯一的平穩高斯馬可夫過程。平穩性與傅立葉分析契合得極美:博赫納定理說,一個連續的平穩共變異數 C(h) 是某個有限測度——譜測度(spectral measure)——的傅立葉變換,故過程分解成「橫跨各頻率的、彼此不相關的隨機振盪」。這就是 平穩高斯過程的譜表示,它把「時間中相關性」的問題,轉成「頻率上能量」的問題。
握有這部字典後,本級其餘各篇便讀來像是從幾個角度遊覽同一個對象。下一篇把藏在核裡的特徵空間典範化為 再生核希爾伯特空間——那是「高斯過程所能追隨的確定性函數」的天然家園。之後,第一混沌等距 把過程所生成的隨機變數與這個希爾伯特空間等同起來,引向同正態過程與維納混沌。接著 卡梅倫-馬丁 精確描述「哪些確定性平移使高斯測度保持等價」,而最後一篇把這一切幾何化作銳利的集中與上確界界。那每一章,歸根結柢,都是關於你方才學會解讀的這個共變異數核的一句話。