CAN-File-10-10-08-13-实用优化方法引言.ppt

实用优化方法(最优化理论与算法B)54课时/3学分 刘红英 数学与系统科学学院 liuhongying@(个人邮箱) buaa_optimization@163.com(公共邮箱，密码： 111222) (课程主页) 课程主题 介绍线性与非线性规划的－－ 基本理论、实用算法和部分应用 具体的主题包括： 线性规划 基本性质、单纯形法、对偶理论、网络流问题、整数规划 非线性规划 最优性条件、凸性、Lagrange对偶、半定规划 无约束优化的算法：线搜索法和信赖域法 约束优化的算法：二次规划、罚函数法、SQP法 多目标决策简介 Pareto最优性和折衷曲线 目标规划 先修课程：线性代数，高等数学，最好会某种高级语言 考核： 活动 平时和作业 实践环节 期中考试 期末考试 百分比 20% 10% 30% 40% 实践环节：1. 学习并使用优化软件 2. 撰写课程小论文/实现某些算法 课本与教辅材料： 1. 刘红英，实用优化方法讲义，北京航空航天大学，数学与系统科学学院，2010年2月. 2. 陈宝林，最优化理论与算法(第二版)，清华大学出版社 3. 其它任何您熟悉或者喜欢的 实用优化方法第１章　引　　言 刘红英 理学院数学系 1.1 数学描述与例子 目 标：系统性能的一种“量的度量”(利润、时间、势能)－－任何数量或某些量的组合－－数 变 量：目标所依赖的系统的“某些可控的特征” 约束条件：经常变量以某种方式受限制(分子中电子密度的量、贷款利率的量，不能是负的)－－--- 优化问题的一般模型－－数学规划问题 优化建模(modeling)：识别出给定问题的目标、变量和约束的过程。 建立恰当模型：第一步、最重要的一步(太简单－不能给实际问题提供有用的信息；太复杂－不易求解) 选择特定算法：很重要--决定求解速度及质量(无通用优化算法，有求解特定类型优化问题的算法) 优化实例１：运输问题(transportation problem) 背 景：化学制品公司考虑某种产品的产销问题. 数　据： 问　题：确定从每个工厂运送到每个销地的产品 　　　　数量，使其满足需求，同时极小化费用 变 量： 的产品数量 目标函数： 产量约束： 销量约束： 非负约束： 问题中目标和约束函数都是线性函数, 称此类型的问题为线性规划问题. 优化实例2：数据拟合(data fitting problem) 已知： 推测：信号具有指数衰减和振荡行为！ 模型函数(经验函数)： 其中 是待定参数 变量： 余量/残差(residual)： 非线性最小二乘问题 确定参数！ 注1： 它说明即使变量数很小，计算目标函数也可能很昂贵.　这里，n=6， m很大(比如10^5). 注2：数据拟合、参数估计、回归分析等许多问题中均涉及此类优化问题.有专用的算法求解. 1.2 数学规划问题的分类与特征 某些或全部变量取整数值才有意义--整数规划 (IP). (上述运输问题中，工厂生产拖拉机而非化学产品). 分为整数线性规划和整数非线性规划；整数规划和混合整数规划；一般整数规划和0-1整数规划 简单松弛策略. 忽略整数要求，当成实变量来求解问题，然后将所有分量舍入到最近的整数--可给出问题的界.Lagrange松弛策略. 整数规划属NP难问题. 常用算法：分支定界法、或其他启发式算法(求解一系列连续优化问题) 连续与离散 约束与无约束 　　无约束优化肯定是非线性的、约束优化又分线性规划 和非线性规划 局部与全局 单目标与多目标 随机与确定 有的问题进行优化建模时，模型与一些不能提前确定的参数有关(运输问题中，零售市场的需求在实际中不能够精确确定. 许多经济和金融规划模型也具有该特征, 哪里经常与未来的利息率和经济的未来趋向有关). 　　多目标规划最重要的是Perato解/有效解的概念；一般 可用标量化方法求Perato解 优化问题的简单分类与求解难度 问题的求解难度依次增加！ 1.3 优化算法和优化软件 迭代法 从最优解的某个初始猜测出发，生成一个提高的估计序列，直到达到一个解. 大部分利用目标函数和约束，可能还有这些函数的一阶和二阶导数. 通常收敛到 (无约束问题)驻点或者 (约束问题)KKT点(极大点、极小点或鞍点). 如果问题是凸规划，则可确保算法收敛到全局极小点. ◎ 优化算法 AMPL: A Modeling Language for Mathema-tical Programming Lindo/