学习笔记-拉格朗日乘子法

拉格朗日

一、无约束优化

寻找极值：$\min f(x)$

最优条件：梯度 $\nabla f=0$

但现实问题几乎都有约束条件：

比如：在直线、圆、不等式范围内找最值。

此时 不能直接令梯度为0，必须用：拉格朗日乘子法。

二、等式约束优化(拉格朗日)

$\boxed{\{\begin{array}{ll}\min f(\mathbf{x})& \\ s.t.h(\mathbf{x})=0& \end{array}}$

$s.t.h(\mathbf{x})=0$ 是约束函数是人为定义的

构造拉格朗日函数：

$\boxed{\mathcal{L}(\mathbf{x},\lambda )=f(\mathbf{x})+\lambda h(\mathbf{x})}$

$\lambda$：拉格朗日乘子（新增未知变量）

最优必要条件（3 组方程）

$\boxed{\{\begin{array}{l}{\nabla }_{\mathbf{x}}\mathcal{L}=\nabla f(\mathbf{x})+\lambda \nabla h(\mathbf{x})=0\\ {\nabla }_{\lambda }\mathcal{L}=h(\mathbf{x})=0\\ \nabla f(\mathbf{x})=-\lambda \nabla h(\mathbf{x})\end{array}}$

三、 一维例题演算

求解：

$\{\begin{array}{l}\min f(x_1,x_2)=x_1^2+x_2^2\\ \text{s.t.}h(x_1,x_2)=x_1+x_2-2=0\end{array}$

构造拉格朗日函数：

$\mathcal{L}=x_1^2+x_2^2+\lambda (x_1+x_2-2)$

求偏导等于 0：

$\{\begin{array}{l}\frac{\partial \mathcal{L}}{\partial x_1}=2x_1+\lambda =0\\ \frac{\partial \mathcal{L}}{\partial x_2}=2x_2+\lambda =0\\ \frac{\partial \mathcal{L}}{\partial \lambda }=x_1+x_2-2=0\end{array}$

解方程:

$\{\begin{array}{l}{x}_1=1\\ x_2=1\\ \lambda =-2\\ \min f(x_1,x_2)=f(1,1)=2\end{array}$

四、多个等式约束

$\{\begin{array}{l}\min f(\mathbf{x})\\ h_1(\mathbf{x})=0\\ h_2(\mathbf{x})=0\end{array}$

$\mathcal{L}=f(\mathbf{x})+{\lambda }_1{h}_1(\mathbf{x})+{\lambda }_2{h}_2(\mathbf{x})$

KKT （Karush–Kuhn–Tucker）条件

1. 回顾分界线

• 普通拉格朗日乘子法：只能处理 等式约束 $h(\mathbf{x})=0$

• KKT是拉格朗日升级版，同时支持：等式约束 + 不等式约束

2.统一用极小化形式

$\boxed{\{\begin{array}{l}\underset{\mathbf{x}}{\min }f(\mathbf{x})\\ \text{s.t.}{g}_i(\mathbf{x})\le 0,i=1,\dots ,m\text{不等式约束}\\ h_j(\mathbf{x})=0,j=1,\dots ,n\text{等式约束}\end{array}}$

构造 拉格朗日 函数：

$\boxed{\mathcal{L}(\mathbf{x},\mathbf{\lambda },\mathbf{\nu })=f(\mathbf{x})+\underset{{\lambda }_i：不等式约束乘子}{\underbrace{\sum _{i=1}^m{\lambda }_i{g}_i(\mathbf{x})}}+\underset{{\nu }_j：等式约束乘子}{\underbrace{\sum _{j=1}^n{\nu }_j{h}_j(\mathbf{x})}}}$

3. KKT 五大核心条件

若 ${\mathbf{x}}^{\ast }$ 是局部最优解（满足约束规范），必满足：

$\boxed{\{\begin{array}{l}1.\text{驻点条件：}\nabla f({\mathbf{x}}^{\ast })+\sum {\lambda }_i\nabla g_i({\mathbf{x}}^{\ast })+\sum {\nu }_j\nabla h_j({\mathbf{x}}^{\ast })=0\\ \mathrm{2.3.}\text{原可行性：}{g}_i({\mathbf{x}}^{\ast })\le 0,h_j({\mathbf{x}}^{\ast })=0\\ 4.\text{对偶可行性：}{\lambda }_i\ge 0\\ 5.\text{互补松弛：}{\lambda }_i\cdot g_i({\mathbf{x}}^{\ast })=0\end{array}}$

互补松弛 ${\mathbf{\lambda }}_{\mathbf{i}}{\mathbf{g}}_{\mathbf{i}}=0$

对每一条不等式约束，只有两种可能：

情况 一： 约束未激活（松弛）
$g_i({\mathbf{x}}^{\ast })<0$ 约束没有限制最优解，相当于不存在，必须 ${\mathbf{\lambda }}_{\mathbf{i}}=0$

情况 二：约束激活（紧约束）
$g_i({\mathbf{x}}^{\ast })=0$ 最优解卡在约束边界上，约束生效，${\mathbf{\lambda }}_{\mathbf{i}}\ge 0$

4.例题演算

1.只含不等式约束，不带等式

求解:

$\{\begin{array}{l}\min f(x)=x^2\\ \text{s.t. }g(x)=x-3\le 0\end{array}$

构造拉格朗日函数:

$\mathcal{L}=x^2+\lambda (x-3)$

列出全部 KKT 条件

$\{\begin{array}{l}1.\frac{\partial \mathcal{L}}{\partial x}=2x+\lambda =0\\ 2.g(x)=x-3\le 0\\ 3.\lambda \ge 0\\ 4.\lambda g(x)=\lambda (x-3)=0\end{array}$

分两类讨论:

情况 一： 约束松弛 $g(x)<0则\lambda =0$
$\{\begin{array}{l}1.\frac{\partial \mathcal{L}}{\partial x}=2x+\lambda =0✅\\ 2.g(x)=x-3\le 0✅\\ 3.\lambda \ge 0✅\\ 4.\lambda g(x)=\lambda (x-3)=0✅\end{array}$

符合所有 KKT 条件 ✅

情况 二：约束激活 $g(x)=x-3=0$ 则 $x=3$
$\{\begin{array}{l}1.\frac{\partial \mathcal{L}}{\partial x}=2\ast 3+\lambda =0，\lambda =-6\\ 2.g(x)=x-3\le 0✅\\ 3.\lambda \ge 0❌\\ 4.\lambda g(x)=\lambda (x-3)=0✅\end{array}$
$\lambda =-6$ 不符合 KKT $\lambda \ge 0$条件 ，❌

最终最优解：${\mathbf{x}}^{\ast }=0$

1.不等式约束+带等式

求解：

$\{\begin{array}{ll}\min f(x_1,x_2)=x_1^2+x_2^2& \\ \text{s.t.}g(x_1,x_2)=x_1+x_2-4\le 0& \text{不等式约束}\\ h(x_1,x_2)=x_1-x_2+2=0& \text{等式约束}\end{array}$

构造 拉格朗日 函数

$\mathcal{L}(x_1,x_2,\lambda ,\nu )=x_1^2+x_2^2+\lambda (x_1+x_2-4)+\nu (x_1-x_2+2)$

列出全部 KKT 条件

$\{\begin{array}{l}1.\frac{\partial \mathcal{L}}{\partial x_1}=2x_1+\lambda +\nu =0\\ 2.\frac{\partial \mathcal{L}}{\partial x_2}=2x_2+\lambda -\nu =0\\ 3.g(x_1,x_2)=x_1+x_2-4\le 0\\ 4.h(x_1,x_2)=x_1-x_2+2=0\\ 5.\lambda \ge 0\\ 6.\lambda g(x_1,x_2)=\lambda (x_1+x_2-4)=0\end{array}$

情况 一： 约束松弛 $g(x)<0则\lambda =0$
$\{\begin{array}{l}2x_1+\lambda +\nu =0\\ 2x_2+\lambda -\nu =0\\ x_1-x_2+2=0\end{array}⟹\{\begin{array}{l}2x_1+2x_2+2\lambda =0\\ x_1-x_2=-2\end{array}\Rightarrow \{\begin{array}{l}{x}_1=-1\\ x_2=1\end{array}$

符合所有 KKT 条件 ✅ $\min f(-1,1)$

情况 二：约束激活 $g(x_1,x_2)=x_1+x_2-4=0$ 联立两条等式：

$\{\begin{array}{l}{x}_1+x_2=4\\ x_1-x_2=-2\end{array}⟹\{\begin{array}{l}{x}_1=1\\ x_2=3\end{array}$
\quad
$\{\begin{array}{l}2x_1+\lambda +\nu =0\\ 2x_2+\lambda -\nu =0\end{array}\Rightarrow \{\begin{array}{l}2x_1+2x_2+2\lambda =0\end{array}\Rightarrow \lambda =-4❌$
$\lambda =-4$ 不符合 KKT $\lambda \ge 0$条件 ❌

最终最优解：$\min f(-1,1)$