鏡像下降（mirror descent）

梯度下降悄悄地假設了歐氏幾何：它的更新用一般的直線距離來懲罰「走太遠」，而這只有在每個座標地位相同時才是對的。對於活在機率單純形上的變數，或是稀疏性很自然的情形，另一種「兩點相距多遠」的概念更貼合問題。鏡像下降就是把那種替代幾何嵌進來的有原則的辦法。

你選一個嚴格凸的位勢函數 psi（鏡像映射），它的布雷格曼散度（Bregman divergence）D_psi 衡量點與點之間的接近程度。每一步最小化「線性化的目標加上一個接近度懲罰」：x_{t+1} = argmin_x eta <g_t, x> + D_psi(x, x_t)。等價地說，你透過 psi 的梯度把當前點映射到一個對偶空間，在那裡走一步普通的梯度，再映射回來。把 psi 取為二分之一歐氏範數平方，會還原成單純的梯度下降；取為負熵，則在單純形上得到指數化梯度（exponentiated gradient）或乘法權重更新。

鏡像下降對非歐氏與帶約束的問題達到最優收斂率，是 Hedge 這類線上學習演算法的基礎，並透過它對幾何的選擇與自然梯度密切相關。技藝在於選一個其幾何能匹配約束集或解的結構的位勢，以及推導出那個讓步伐變便宜的對偶映射。