数值最优化-浙江大学数学系.pdfVIP

现代数学概论 【科学计算】 6 - 最优化 胡贤 良 浙江大学-数学科学学院 2017年5月11 日 1 / 20 优化 问题 优化 问题来 自科学和工程的各个领域 ，在商业和工业的中的应用 也非常普遍 。任何设计问题一般都要优化某些性能指标 ，如成本 或效率 。 在数学上 ，优化 问题可 以表示称确定某些参数 ，使给定函数在某 个定义域上取得极值 ，也就是说 ，给定一个函数f :n 和一 个几何S n ,使f在x 处的值是其在S上的最小值 。由于f最大值 可 以考虑-f 的最小值 ，因此我们可 以在这里只讨论最小值 问题 。 1 / 20 最优解的存在性和惟一性 如果不对 目标函数f与集合S做某些假定 ，那 么我们很难建立优化 问题最优解的存在性和唯一性 。因此 ，我们接下来会给出一些限 制 ，在这些限制下 ，再来讨论具体的数值优化方法 。 2 / 20 凸性 在所有假设 中，最重要 的假设就是凸性 称集合S是凸集 ，即对所有x,y S ，有 ax 1 ay a 0 1 S 进一步 ，如果函数沿S 中任意线段的图像都不超过连接线段端点 函数值的弦 ，则称函数f在凸集S上是凸的 。 3 / 20 一维优化 I 我们从一维优化方法开始讨论 ，这个问题不仅重要 ，并且是高维 优化 问题 中许多算法的子问题 。首先我们需要一个确定最小值点 所在 区间范围的方法 ，若在 区间[a,b]上函数f只有一个峰值 ，则 称函数是单峰的 。 1 黄金分割搜索 假定f在[a,b]上是单峰的，x1 x2 a b ，且x1 x2 ，比较两 点的函数值 ，利用单峰的性质可 以去掉x b a x 中的一 2 1 个 ，使最小值点位于剩下的子区间内 。如果f x f x ,则 1 2 最小值点肯定不会在a x 内，反之同理 ，这样就将最小值 1 的区间缩小了一部分 。我们为使包含最小值 区间长度的降低 4 / 20 一维优化 II 规则变化 ，每个新 区间两个端点的相对位置应该与上一段相 同 。由此我们得到黄金分割搜索的方法 。 5 / 20 一维优化 III 6 / 20 一维优化 IV 2 逐次抛物插值