大偏差理論

勒讓德-芬切爾變換(Legendre-Fenchel transform)

/ luh-ZHAHND FEN-shel /

勒讓德-芬切爾變換是把對數動差母函數轉換為速率函數的代數運算,也是大偏差實踐者每天使用的那一塊凸分析。它解釋了為何 Cramer 定理與 Gartner-Ellis 定理中的速率函數是凸的,並且是動差母函數的「傾斜參數」世界與速率函數的「偏差值」世界之間的精確字典。

給定 R^d 上的函數 f,其勒讓德-芬切爾變換(凸共軛)為 f*(x) = 對 theta 取上確界的 (<theta, x> - f(theta)),其中 <.,.> 是內積。此上確界對每個目標 x 挑選使線性報酬 <theta, x> 與成本 f(theta) 最佳平衡的傾斜 theta。幾何上 f* 記錄 f 的支撐超平面的截距。兩個事實驅動一切:無論 f 為何,f* 永遠是凸的且下半連續;而對凸的下半連續 f,此變換是對合,(f*)* = f(Fenchel-Moreau 定理)。可微性轉化為對偶關係:若 f 光滑且嚴格凸,則當 x = f'(theta) 時 x 與 theta 共軛,此時 f*(x) = theta x - f(theta)。

在大偏差中,人們把此變換用於 f(theta) = log E[e^(theta X)],即對數動差母函數,又稱累積量母函數。其凸共軛即 Cramer 速率函數 I = f*。由於 f(0) = 0 且 f'(0) = E[X],共軛 I 恰在 x = E[X] 處為零且 I(E[X]) = 0,把大數法則重現為速率函數的唯一零點。每個 Cramer/Gartner-Ellis 速率函數的凸性,不過是凸共軛永遠是凸的這一陳述;因此非凸速率函數只能來自非共軛的構造,例如收縮原理。

對標準高斯,f(theta) = log E[e^(theta X)] = theta^2/2。其凸共軛為 f*(x) = sup_theta (theta x - theta^2/2) = x^2/2,在 theta = x 處達到。因此高斯速率函數 x^2/2 不過是自共軛的拋物線——二次式在平凡縮放下是它自己的勒讓德變換。

對數動差母函數與速率函數互為凸共軛。

(f*)* = f 要求 f 為凸且下半連續;對非凸的 f,雙重變換 (f*)* 回傳凸包(最大的凸下半連續下界),而非 f 本身。這正是為何純靠勒讓德對偶無法重建非凸地景。

又称
convex conjugateLegendre transform勒讓德變換凸共軛