最优化方法III.pdfVIP

最优化方法 （ ） III 张宏鑫 2017-04-18 浙江大学计算机学院 签到 1. 请关注微信公众号：RGB-Group 2. 在该公众号中回复：csmath 在该公众号中回复：姓名 学号 3. _ 4. 三次不同时间输入：本教室位置 内容 l 线性规划 l 非线性优化 l 主要参考书： l 《线性规划》 l 张建中，许绍吉，科学出版社 l 《最优化理论与方法》 l 袁亚湘，孙文瑜，科学出版社 l 《数学规划》 l 黄红选，韩继业，清华大学出版社 二、非线性最优化 引言 l最优化的问题的一般形式为 Minf (x) s.t. x ÎX n f (x)为 目标函数，XÌ E 为可行域。 n 无约束最优化问题 如X= E ，则以上最优化问题为 约束最优化问题通常写为 Minf (x) s.t. c (x)=0, i ÎE, i c (x)≥0, i ÎI , i 其中E, I分别为等式约束的指标集和不等式约束的指标集，c (x)是约束函数。 i 1. 无约束非线性最优化 非线性的数据无处不在 非线性的数据无处不在 网络流量分析 显示学术刊物被引用的关系，借此评价一份学术刊物的份量 Visualizing Information Flow in Science Deep Learning方法的兴起 On Optimization Methods for Deep Learning(ICML2011) Autoencoder training with 10000 units on one machine 1.1 无约束问题的最优条件 n l minf (x), x ÎR 的最优性条件 l 局部极小 若存在d 0，使得对所有满足|| x - x* || d的x , 都有 f (x) ³ f (x*), 则称x *为f 的局部极小点。 如所有满足|| x - x* || d的x ，都有f (x) f (x*), 则称x *为f 的严格局部极小点。 l 全局极小 若存在d 0，使得对所有x , 都有f (x) ³ f (x*), 则称x *为f 的总体极小点。 如所有x ，都有f (x)