次高斯隨機變數(sub-Gaussian random variable)
次高斯隨機變數是其尾巴至少和高斯一樣輕的變數。在初階課程中,你藉由界定動差母函數證明了有界變數的 Hoeffding 不等式;高維機率把這個單一技巧提升為一整類變數,即次高斯變數,它們共享相同的指數平方尾衰減,整套集中不等式工具對它們也原封不動地適用。有界變數、高斯變數,以及任何尾巴滿足 P(|X| > t) <= 2 e^(-c t^2) 的變數都屬於這一類;這一類恰好寬到足以涵蓋統計與機器學習中的雜訊模型,卻仍與高斯一樣容易處理。
對於零均值的 X,四個條件在絕對常數的意義下彼此等價,任取其一皆可作為定義。尾界:對所有 t,P(|X| > t) <= 2 e^(-t^2 / K1^2)。動差增長:對所有 p >= 1,(E[|X|^p])^(1/p) <= K2 sqrt(p)。平方的動差母函數:E[exp(X^2 / K3^2)] <= 2。以及當 E[X] = 0 時的動差母函數界 E[exp(lambda X)] <= exp(K4^2 lambda^2),對所有實 lambda 成立。第四種形式是可操作的那一個:它說對數動差母函數的增長不快於二次式,這正是驅動每一個 Chernoff 型論證的性質。等價性意味著這些常數 K1、…、K4 僅相差普適因子,因此一個變數要嘛是次高斯、要嘛不是,與你從哪個定義出發無關。
次高斯性是乾淨集中的自然假設。有限多個獨立次高斯之和仍為次高斯,且變異數代理相加(旋轉不變性質),這正是一般 Hoeffding 不等式對它們成立的原因。寬廣的代價是對常數要誠實:等價性僅在絕對乘法常數的意義下成立,因此「次高斯」是個定性類別,而精確常數(如對 [a,b] 有界變數的尖銳 Hoeffding 界)需要特定結構。重尾變數——任何具多項式尾的變數,乃至像拉普拉斯分布那樣具指數尾的變數——都不是次高斯;對那些變數,須退到次指數類。
Rademacher 符號 X(各以機率 1/2 取 +/-1)是次高斯:E[exp(lambda X)] = cosh(lambda) <= exp(lambda^2 / 2),故其變異數代理為 1。任何 [a, b] 上的有界變數都是次高斯,代理為 (b-a)^2/4,這正回到 Hoeffding 引理;標準高斯 N(0,1) 的代理恰為 1。
有界變數、Rademacher 變數與高斯變數是次高斯的原型。
這四個定義僅在絕對常數意義下等價——次高斯變數的動差母函數界不必帶有確切的高斯常數。E[exp(lambda X)] 的界的動差母函數/尾定義預設 E[X] = 0;對於非零均值,須先置中。