多元优化
不等式约束(inequality constraint)
等式约束把你钉在一条曲线或曲面上;不等式约束则圈出一整片你必须待在里面的区域。诸如 g(x, y) 小于等于 0,或 x 大于等于 0 这样的条件,就是不等式约束。设想在产量不得超过产能时优化利润,或一个不能为负的量。可行集如今是一片带边界的区域,而非一条细曲线。
决定性的新思想是:一条不等式约束在最优点处可以是起作用的,也可以是不起作用的。若最佳点落在允许区域的严格内部,围栏无关紧要——约束不起作用,你就当它不存在地优化。但若最优点被顶到了边界上,约束就起作用:它在那里以等式 g = 0 成立,确实塑造了答案,表现得像一条拉格朗日约束。由于你通常事先并不知道哪些约束会起作用,分析必须考虑各种可能——而且会出现一个符号条件,因为边界只能往回推,绝不能往外拉。
不等式约束让优化变得现实:预算、产能、概率或浓度的非负性、以及物理极限,全都是单边的。它们是线性规划、二次规划和机器学习中支持向量机的舞台。系统地处理哪些约束起作用、以及它们乘数的符号,正是 Karush-Kuhn-Tucker 条件的内容——拉格朗日乘数向不等式的推广。
在 x^2 + y^2 小于等于 1 下求 f(x, y) = x + y 的极大。无约束极大在无穷远,故约束必定起作用:最优点落在边界圆 x^2 + y^2 = 1 上,位于 x = y = 1/sqrt(2)。这里围栏起了作用。
当自由最优落在区域外,不等式被顶到边界上成为等式。
不起作用的不等式毫无贡献——它的乘数为零。全部的技巧在于弄清哪些约束在最优点起作用,因为你不能简单地把它们都当成等式。
又称
另见