半小时梳理凸优化.ppt

*/50 凸函数的逐点最大值 f1,f2均为凸函数，定义函数f： 则函数f为凸函数。 */50 思考 逐点上确界和上境图的关系 一系列函数逐点上确界函数对应着这些函数上境图的交集。 直观例子 Oxy平面上随意画N条直线(直线是凸的——虽然直线也是凹的)，在每个x处取这些直线的最大的点，则构成的新函数是凸函数； 同时：N条直线逐点求下界，是凹函数； 在Lagrange对偶函数中会用到该结论。 */50 凸优化 优化问题的基本形式 */50 优化问题的基本形式 优化问题的域 可行点(解)(feasible) x∈D，且满足约束条件 可行域(可解集) 所有可行点的集合 最优化值 最优化解 */50 凸优化问题的基本形式 fi(x)(0≤i ≤m)为凸函数，hj(x)(1≤i ≤p)为仿射函数 凸优化问题的重要性质 可行域为凸集 局部最优解即为全局最优解 */50 对偶问题 一般优化问题的Lagrange乘子法 Lagrange函数 对固定的x，Lagrange函数L(x,λ,v)为关于λ和v的仿射函数 */50 Lagrange对偶函数(dual function) Lagrange对偶函数 若没有下确界，定义： 根据定义，显然有：对?λ≥0，?v，若原优化问题有最优值p*，则 进一步：Lagrange对偶函数为凹函数。 */50 左侧为原函数，右侧为对偶函数 */50 鞍点解释 为表述方便，假设没有等式约束，只考虑不等式约束，结论可方便的扩展到等式约束。 假设x0不可行，即存在某些i，使得fi(x)0。则选择 ，对于其他乘子， 假设x0可行，则有fi(x)≤0,(i=1,2,...,m),选择 有： */50 鞍点：最优点 而原问题是： 从而，原问题的本质为： 而对偶问题，是求对偶函数的最大值，即： 而： */50 证明： 对于任意的(x,y)∈domf */50 线性方程的最小二乘问题 原问题 Lagrange函数 Lagrange对偶函数 对L求x的偏导，带入L，得到g 对g求v的偏导，求g的极大值，作为原问题的最小值 */50 求L的对偶函数 */50 求对偶函数的极大值 */50 极小值点 极小值： 极小值点的结论，和通过线性回归计算得到的结论是完全一致的。 线性回归问题具有强对偶性。 */50 强对偶条件 若要对偶函数的最大值即为原问题的最小值，考察需要满足的条件： */50 Karush-Kuhn-Tucker (KKT)条件 */50 参考文献 Convex Optimization, Stephen Boyd,Lieven Vandenberghe, Cambridge University Press, 2004 中译本：王书宁，许鋆，黄晓霖 译，凸优化，清华大学出版社，2013 同济大学数学教研室 主编，高等数学，高等教育出版社，1996 同济大学数学系 编，工程数学线性代数(第五版)，高等教育出版社，2007 */50 我们在这里 七月算法官网：/ 免费视频 直播课程 问答社区 联系我们：微博 @研究者July @七月问答 @邹博_机器学习 */50 感谢大家！ 恳请大家批评指正！ * 凸优化初步 */50 主要内容 凸集基本概念 凸集保凸运算 分割超平面 支撑超平面 凸函数基本概念 上境图 Jensen不等式 凸函数保凸运算 凸优化一般提法 对偶函数 鞍点解释 用对偶求解最小二乘问题 强对偶KKT条件 */50 思考凸集和凸函数 y=x2是凸函数，函数图像上位于y=x2上方的区域构成凸集。 凸函数图像的上方区域，一定是凸集； 一个函数图像的上方区域为凸集，则该函数是凸函数。 稍后给出上述表述的形式化定义。 因此，学习凸优化，考察凸函数，先从凸集及其性质开始。 */50 凸集 集合C内任意两点间的线段均在集合C内，则称集合C为凸集。 */50 凸集 */50 超平面和半空间 超平面hyperplane 半空间halfspace */50 超平面和半空间 */50 多面体 多面体有限个半空间和超平面的交集。 仿射集(如超平面、直线)、射线、线段、半空间都是多面体。 多面体是凸集。 此外：有界的多面体有时称作多胞形(polytope)。 注：该定义略混乱，不同文献的含义不同。 */50 多面体 */50 保持凸性的运算 集合交运算 思考：如何证明？(提示：根据定义) 仿射变换 函数f=Ax+b的形式，称函数是仿射的：即线性函数加常数的形式 透视变换 投射变换(线性分式变换) */50 集合交运算：半空间的交 */50 仿射变换 仿射变换 伸缩、平移、投影