课程名最优化算法理与应用.pptVIP

课程名：最优化算法理论与应用 单位：清华大学自动化系 电子信箱：swang@mail.tsinghua.edu.cn 教师：王书宁 电话讲课时间：2008年10月15日起每周三下午2点开始 讲课地点：自动化所自动化大厦十三层第二会议室 电子信箱： huangxl06@mails.tsinghua.edu.cn 助教：黄晓霖 优化方法基本分类 本门课程有关事宜 优化问题基本分类 优化问题基本分类 例、和优化联系非常密切的一类问题 （回归、辨识、估计、训练、学习、拟合、逼近…） 已知某个标量 和某个向量 之间若干一 一对应的样本数据 要确定一个函数 ，使在包含所有样本数据的某个 集合 里能够用 描述 和 之间的对应关系，即 使误差 对任意的 都尽量小 基本方法：选择含有待定参数的函数 ，通过极小 化某种样本误差确定待定参数得到所需函数 常用 范数的样本误差 于是，最终要解决的是下述优化问题 这是连续变量无约束优化问题 对于采用 范数形成的优化问题 为克服目标函数不可导的困难，可以等价转换成下面的 连续变量约束优化问题 特别是，当 是 的线性函数时，即 上面的优化问题是线性规划问题 一般选择足够多的基函数 使优化问题 的样本误差任意小，这样得到的模型在样本集以外通常 会产生很大的预报误差，这就是所谓过度拟合或过度训 练问题。解决该问题的根本途经是同时极小化基函数的 个数，理论上要解决连续和离散变量混合的优化问题 其中 是设定的正的权值 前面的例子包含了优化问题最基本的类型 线性 与 非线性 无约束 与 有约束 连续变量 与 离散变量 后者相对于前者在难度上均有质的改变 具有不确定性和动态特性的问题 转换成上述问题 优化方法基本分类 例 基本方法：从 之间的任一点出发，朝着能够改进目 标函数的方向搜索前进，直至目标函数不能改进 肯定能够收敛到一个局部最优解，不能保证全局最优 跳出局部陷阱的唯一途经是在搜索过程中允许前进到目 标函数值变差的点，如在 之间容许目标函数下降才 有可能找到全局最优解 由此产生新问题，无法保证算法收敛 为了使算法收敛，只能引入不确定性，让算法在任何一 点以一定的概率前进到邻近的某点，移动概率和相应点 的目标函数值正相关，所以 由此产生的算法是结果不确定的算法 前面的例子包含了优化方法最基本的类型 确定型搜索 与 不确定型搜索 前者是经典的优化教材介绍的主要内容，后者 包括模拟退火、禁忌搜索、遗传算法、免疫算 法、蚂蚁算法等方法，一般统称为智能算法 本课程主要讨论基于确定性搜索的优化方法 本门课程有关事宜