优化方法学习笔记.docxVIP

对偶理论：原始问题和对偶问题的标准形式如下：设原始问题为：min z=cxs.t. Ax = bx= 0则对偶问题为：max w=ybs.t. yA = cy=0式中max表示求极大值，min表示求极小值，s.t.表示“约束条件为”；z为原始问题的目标函数，w为对偶问题的目标函数；x为原始问题的决策变量列向量（n×1），y为对偶问题的决策变量行向量(1×m)；A为原始问题的系数矩阵(m×n)，b为原始问题的右端常数列向量（m×1），c为原始问题的目标函数系数行向量（1×n）。在原始问题与对偶问题之间存在着一系列深刻的关系，现已得到严格数学证明的有如下一些定理。KKT条件介绍：一般情况下，最优化问题会碰到一下三种情况：（1）无约束条件 这是最简单的情况，解决方法通常是函数对变量求导，令求导函数等于0的点可能是极值点。将结果带回原函数进行验证即可。（2）等式约束条件?设目标函数为f(x)，约束条件为hk(x)，形如?s.t. 表示subject to ，“受限于”的意思，l表示有l个约束条件。 ?则解决方法是消元法或者拉格朗日法。消元法比较简单不在赘述，拉格朗日法这里在提一下，因为后面提到的KKT条件是对拉格朗日乘子法的一种泛化。?定义拉格朗日函数F(x)， ?其中λk是各个约束条件的待定系数。 ?然后解变量的偏导方程：?......,?如果有l个约束条件，就应该有l+1个方程。求出的