高斯過程與高斯測度

再生核希爾伯特空間(reproducing kernel Hilbert space)

每個共變異數函數內部都暗藏一個函數的希爾伯特空間——K 的再生核希爾伯特空間(RKHS)。這個空間是「容許把高斯過程沿其平移的方向」的正確概念,也是卡梅倫-馬丁定理、高斯大偏差、以及機器學習中核方法背後的代數骨架。它把解析對象 K(s, t) 轉化為函數的幾何。

具體地,從核函數 K_t := K(., t) 出發,對每個指標 t 各一個。定義內積,規定 < K_s, K_t > = K(s, t),對有限組合 sum a_i K_(t_i) 線性延拓,再完備化得到希爾伯特空間 H_K。由構造,核「再生」求值:對任意 f in H_K,< f, K_t > = f(t)。這唯一的「再生性質」正是此空間得名之由。等價地(Moore-Aronszajn 定理),每個對稱半正定的 K 決定「唯一」一個以它為再生核的 RKHS,反之亦然。範數 ||f||_(H_K) 度量 f 與核幾何「對齊」的程度;範數大的函數被懲罰,這正是統計中的光滑性/正則化故事。

重要性:共變異數的 RKHS 在等距意義下就是相應高斯測度的卡梅倫-馬丁空間——使分布律只被重新加權、絕不被摧毀的容許平移集合。關鍵在於,RKHS 遠「小於」過程所棲居的空間:對 [0, 1] 上的布朗運動,RKHS 由滿足 h(0) = 0 且 h'(t)^2 dt 之積分有限的絕對連續函數 h 組成(範數 = h' 的 L^2 範數),而布朗路徑本身處處不可微,落在自己 RKHS 中的機率為「零」。這個「過程從不造訪自己的卡梅倫-馬丁空間」的弔詭是根本性的,並非缺陷。

對布朗運動,K(s, t) = min(s, t)。其 RKHS 是卡梅倫-馬丁空間 H = { h : h(0) = 0、h 絕對連續、integral of h'(t)^2 dt < infinity },內積 < g, h >_H = integral g'(t) h'(t) dt。驗證再生性質:< h, K_t >_H = integral_0^1 h'(u) (1_(u <= t)) du = h(t),因為 K_t(u) = min(u, t) 在 [0, t] 上導數為 1。

min(s, t) 的 RKHS 是從 0 出發、能量有限的路徑空間——正是布朗運動的卡梅倫-馬丁空間。

RKHS 是路徑空間的零測度子集:高斯過程幾乎必然「不」落在自己的 RKHS 中,儘管該 RKHS 主宰它的全部幾何。

又稱
RKHS再生核希爾伯特空間再生核空間