运筹学历史及非线性规划应用技术报告.pptVIP

非线性规划的发展及其应用 非线性规划： 非线性规划是具有非线性约束条件或目标函数的数学规划，是运筹学的一个重要分支。 非线性规划是20世纪50年代才开始形成的一门新兴学科。 非线性规划的历史： 公元前 500年古希腊建筑学家在讨论建筑美学中就已发现了长方形长与宽的最佳比例为0.618,称为黄金分割比。其倒数至今在优选法中仍得到广泛应用。 在微积分出现以前，已有许多学者开始研究用数学方法解决最优化问题。 例如阿基米德证明：给定周长，圆所包围的面积为最大。这就是欧洲古代很多城堡都建成圆形的原因。 但是 最优化方法真正形成为科学方法则在17世纪以后。17世纪，I.牛顿和G.W.莱布尼茨在他们所创建的微积分中，提出求解具有多个自变量的实值函数的最大值和最小值的方法。以后又进一步讨论具有未知函数的函数极值，从而形成变分法。这一时期的最优化方法可以称为古典最优化方法。 第二次世界大战前后，由于军事上的需要和科学技术和生产的迅速发展，许多实际的最优化问题已经无法用古典方法来解决，这就促进了近代最优化方法的产生。近代最优化方法的形成和发展过程中最重要的事件有： 以苏联康托罗维奇和美国G.B.丹齐克为代表的线性规划； 以美国R.贝尔曼为代表的动态规划； 以苏联庞特里亚金为代表的极大值原理等。 以美国塔克尔和库恩为代表的非线性规划；(KKT 条件) 　　 康托罗维奇 庞特里亚金 Harold W. Kuhn Albert W. Tucker 第二次世界大战前后，由于军事上的需要和科学技术和生产的迅速发展，许多实际的最优化问题已经无法用古典方法来解决，这就促进了近代最优化方法的产生。近代最优化方法的形成和发展过程中最重要的事件有： 以苏联康托罗维奇和美国G.B.丹齐克为代表的线性规划； 以美国R.贝尔曼为代表的动态规划； 以苏联庞特里亚金为代表的极大值原理等。 以美国塔克尔和库恩为代表的非线性规划；(KKT 条件) 　　 Harold W. Kuhn Albert W. Tucker 阿尔伯特·威廉·塔克（1905年11月28日 - 1995年1月25日）是谁做的拓扑结构，博弈论和非线性规划做出了重要贡献的加拿大数学家。 1950年，阿尔伯特·塔克给了名称和解释“囚徒困境”，成为了博弈论的开创者，他也是众所周知的卡罗需 - 库恩 - 塔克条件而闻名。 他的学生有： Michel Balinski, David Gale, Alan Goldman, John Isbell, Stephen Maurer, Marvin Minsky, 诺贝尔奖得主：John Nash, Lloyd Shapley Harold W. Kuhn 哈罗德·威廉库恩（1925年7月29日 - 2014年7月2日）是著名的博弈论学家。他在1980年与戴维·盖尔和塔克一起赢得了约翰·冯·诺依曼理论奖。 是约翰·纳什的朋友和同事，是指导纳什获得诺贝尔经济学奖的关键人物。 工业和应用数学学会（SIAM）的第三任主席 库恩定理 发展库恩扑克以及对分配问题的匈牙利方法的说明 拉格朗日乘子法与KKT条件： 优化问题： (i) 无约束优化问题，可以写为: (ii) 有等式约束的优化问题，可以写为: (iii) 有不等式约束的优化问题，可以写为： 拉格朗日乘子法与KKT条件： 求取这三个等式之后就能得到候选最优值。其中第二个式子非常有趣，因为g(x)=0，如果要满足这个等式，必须 或者g(x)=0. 这是SVM的很多重要性质的来源，如支持向量的概念。 KKT条件的应用： 支持向量机，因其英文名为support vector machine，故一般简称SVM， 通俗来讲，它是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，其学习策略便是间隔最大