关于拉格朗日乘子法的理解.docVIP

关于拉格朗日乘子法的理解 2018-11-07 1 关于拉格朗日乘子法 有拉格朗日乘子法的地方， 肯定会是一个组合优化的问题。 带约束的优化问题很好说， 比如 下面这个问题： 注：在数学里面 s.t.是 subject to 的缩写， 受约束的意思按中文习惯应该是 使得...满足...s.t. = subject to 这是一个带等式约束的优化问题， 有目标值， 有约束条件。 那么如果假设没有这个约束条件， 这个问题该如何求解呢？ 直接 f 对 x 求导等于 0，解 x 就可以了，可以看到没有约束的话，求偏导等于 0，那么 各个 x 均等于 0，这样 f=0 了。但是 x 都为 0 不满足约束条件。在这里说一点，为什么上面 说求导为 0 就可以呢？理论上多数问题是可以的， 但是有的问题不可以。 如果求导为 0 一定 可以的话，那么 f 就是一个凸优化问题，什么是凸呢，下图： 图 1 凸就是开口朝一个方向（向下或者向上） 。准确的数学关系就是： 注意的是这个条件是对函数的任意值 x 取值。如果满足第一个就是开口向上的凸， 反之开口 向下的凸。 对于凸问题可以去求导， 从图中可以很容易看出只有一个极点， 那么它就是最优点， 直观也 很合理。类似的如下图， 有时候满足第一个关系， 有时候满足第二个关系。 所以它是一个非 凸的问题，对它进行求导会得到很多个极点。 从上图可以看出， 只有一个