多元最佳化
不等式約束(inequality constraint)
等式約束把你釘在一條曲線或曲面上;不等式約束則圈出一整片你必須待在裡面的區域。諸如 g(x, y) 小於等於 0,或 x 大於等於 0 這樣的條件,就是不等式約束。設想在產量不得超過產能時最佳化利潤,或一個不能為負的量。可行集如今是一片帶邊界的區域,而非一條細曲線。
決定性的新思想是:一條不等式約束在最優點處可以是起作用的,也可以是不起作用的。若最佳點落在允許區域的嚴格內部,圍欄無關緊要——約束不起作用,你就當它不存在地最佳化。但若最優點被頂到了邊界上,約束就起作用:它在那裡以等式 g = 0 成立,確實塑造了答案,表現得像一條拉格朗日約束。由於你通常事先並不知道哪些約束會起作用,分析必須考慮各種可能——而且會出現一個符號條件,因為邊界只能往回推,絕不能往外拉。
不等式約束讓最佳化變得現實:預算、產能、機率或濃度的非負性、以及物理極限,全都是單邊的。它們是線性規劃、二次規劃和機器學習中支持向量機的舞臺。系統地處理哪些約束起作用、以及它們乘數的符號,正是 Karush-Kuhn-Tucker 條件的內容——拉格朗日乘數向不等式的推廣。
在 x^2 + y^2 小於等於 1 下求 f(x, y) = x + y 的極大。無約束極大在無窮遠,故約束必定起作用:最優點落在邊界圓 x^2 + y^2 = 1 上,位於 x = y = 1/sqrt(2)。這裡圍欄起了作用。
當自由最優落在區域外,不等式被頂到邊界上成為等式。
不起作用的不等式毫無貢獻——它的乘數為零。全部的技巧在於弄清哪些約束在最優點起作用,因為你不能簡單地把它們都當成等式。
又稱
另見