[ML Notes] 拉格朗日函数:对偶性
1. 原始问题 假设 $f(\boldsymbol{x})$、$g_i(\boldsymbol{x})$、$h_i(\boldsymbol{x})$ 式定义在 $\mathbb{R}^n$ 上的连续可微函数,对于约束最优化问题 $$ \begin{aligned} \min_\boldsymbol{x \in \mathbb{R}^n} \; & f(\boldsy…
Read more
learn, build, evaluate
1. 原始问题 假设 $f(\boldsymbol{x})$、$g_i(\boldsymbol{x})$、$h_i(\boldsymbol{x})$ 式定义在 $\mathbb{R}^n$ 上的连续可微函数,对于约束最优化问题 $$ \begin{aligned} \min_\boldsymbol{x \in \mathbb{R}^n} \; & f(\boldsy…
Read more
1. 直观解释 以二元函数为例,要寻找 $f(x, y)$ 在约束条件 $h(x, y) \leq 0$ 下的极值,即 $$ \begin{aligned} \min \; & f(x, y) \\ \mathrm{s.t.} \; & h(x, y) \leq 0 \end{aligned} \tag{1} $$ 令…
Read more
$$ \begin{aligned} \min \; & f(x, y) \\ \text{s.t.} \; & g(x, y) = 0 \end{aligned} \tag{1} $$ 假设 $f(x, y)$ 在 $(x_0, y_0)$ 处取得极值 $z$,则在该处,$f(x, y) = z$ 和 $g(x, y) = 0$ 两条曲线应…
Read more
1. 推导过程 以二元函数为例,要寻找 $f(x, y)$ 在约束条件 $g(x, y) = 0$ 下的极值,如 $$ \begin{aligned} \min \; & f(x, y) \\ \text{s.t.} \; & g(x, y) = 0 \end{aligned} \tag{1} $$ 假设 $f(x, …
Read more