多元优化

多重约束(multiple constraints)

一条小路把你限制在一条曲线上;两条交叉的小路则把你钉在一个点上。当一个优化必须同时满足不止一条、而是好几条等式约束——g1 = c1, g2 = c2, 等等——可行集就收缩了。在三维中,两个约束曲面通常相交于一条曲线,你便沿这条交线优化。拉格朗日方法自然地推广:你只需为每条约束配一个乘数。

最优条件变成 grad f = lambda1 乘 grad g1 + lambda2 乘 grad g2 + ...——目标的梯度是各约束梯度的线性组合,每个都以自己的乘数加权。几何上,grad f 必须落在约束梯度所张成的子空间里;等价地,grad f 中沿可行集(保持所有约束满足的方向)的分量必须为零,否则你仍能改善。与约束本身合在一起,便得到 n + m 个方程,含 n 个变量和 m 个乘数,你联立求解。

在实际问题中多重约束是常态而非例外:化学平衡同时守恒若干元素,投资组合必须达到目标收益、同时保持权重之和为一,结构必须满足多个载荷平衡。一个关键的诚实条件支撑着这套方法——约束梯度在最优点处必须线性无关(约束品性条件)。若不然,乘数可能不存在或不唯一,那幅漂亮的图景就会失效。

在 x^2 + y^2 + z^2 = 1 与 x + y - z = 0 相交的圆上求 f(x, y, z) = x + y + z 的极值。两个约束、两个乘数:grad f = lambda1 grad g1 + lambda2 grad g2 给出三个方程,与两个约束联立求出最优点。

每条约束一个乘数;目标梯度是各约束梯度的加权混合。

独立的等式约束不能比变量还多:n 个变量中有 m 个约束,需 m 小于等于 n,且约束梯度必须保持线性无关,否则该方法给不出有效的乘数。

又称
several equality constraints多个等式约束多個等式約束