次高斯隨機變數(sub-Gaussian random variable)
常態(高斯)分布是「輕尾」的黃金標準:它出現大幅偏離的機率像 e^(-x^2/2) 那樣消退,快得驚人。許多並非恰好常態的變數——例如任何有界變數——也共享這同樣猛烈的尾部衰減。次高斯隨機變數,正是那種尾部至少和某個高斯一樣輕的變數:一個乾淨、可攜帶的標籤,表示「這個變數至少和鐘形曲線一樣能集中」。
有好幾種等價的方式來確立它,但最有用的是透過動差母函數:X(均值為 mu)以參數 sigma 為次高斯,若 E[e^(t(X - mu))] <= e^(sigma^2 t^2 / 2) 對所有實數 t 成立。那恰好就是 Normal(0, sigma^2) 的 MGF,所以這個定義字面上就是說「不比高斯更胖」。直接的收穫是:柴諾夫方法於是免費給出一個高斯形狀的尾界:P(|X - mu| >= a) <= 2 e^(-a^2 / (2 sigma^2))。關鍵在於,獨立次高斯變數之和仍是次高斯,其參數以平方相加——所以這個性質乾淨地通過了集中現象核心的那些平均運算。
次高斯性是統合有界變數結果的現代組織概念(霍夫丁引理恰好就是「有界變數是次高斯」這個敘述),並讓整套機制延伸到「無界但輕尾」的變數。它是乾淨的高維機率與學習理論的自然舞台。誠實的邊界:許多重要的變數並非次高斯——任何重尾的(指數分配只是次指數;柯西更糟得多),那裡偏離太可能發生,以致高斯界無法成立,你必須改用較弱的尾界或伯恩斯坦型的不等式。
任何被限制在 [a, b] 內的變數,都是參數 sigma = (b - a)/2 的次高斯——這就是霍夫丁引理。所以一次擲幣結果落在 {0, 1} 是 sigma = 1/2 的次高斯,而把 n 次獨立擲幣平均起來仍是次高斯,參數像 1/sqrt(n) 那樣縮小,給出霍夫丁不等式背後的指數尾部。
尾部不比高斯更重——所以柴諾夫自動給你一個 e^(-a^2) 的尾界。
次高斯是一個強的輕尾條件。重尾變數(指數分配僅為次指數;柯西更糟)不是次高斯,它們的偏離太可能發生,撐不起高斯式的界。