5- 优化设计-2下降迭代原理和一维优化方法.ppt

一维求优的实现原理-数值迭代 数值迭代实现求优的方法原理-下降迭代算法－复杂函数优化方法基本原理 １） 特点用途：解决多变量、多约束的非线性极小化问题。 ２）下降迭代法基本思路 依优化目标，按照某一迭代格式，从一个初始点X(0)出发逐步构造一个点列 X(0)、 X(1)、 X(2)、 …、X(k)、 X(k+1) …X* 　　保证目标函数值依点列递减 f(X(0)) f(X(1)) … f(X(k)) f(X(k+1)) …min ３） 下降迭代法基本流程 ４）下降迭代算法的关键问题 　①下一迭代点的构造方向 　搜索方向不同将构成不同的下降迭代算法 　②下一迭代点构造的距离－步长因子 　一般通过一维搜索法取得最优步长因子 　③何时停止构造下一迭代点－收敛准则 用以判断迭代点是否能够作为最优点 ７、下降迭代算法收敛准则 下降迭代算法小节 一 维 优 化 方 法　　一维搜索法 ４、进退法 　1)方法特点：基于区间消去原理以0.618为缩小比例生成内点，进行区间削去。 4)二次插值法收敛条件和极值判定 2）用二次插值法逼近极小点 由于 * 一 维 优 化 方 法 　１、概念：针对一元函数进行求优的相关数值迭代方法的总称。 k=k+1 构造新点 使x(k+1)∈S 初始点x(k) ∈S, k =1 对x(k)点选择下降 可行方向d(k) 是否满足收敛条件？ 停 no yes ５） 下降迭代算法迭代算式的基本形式 5）下降迭代算法的基本步骤 　1）给定一个初始点X(0)和收敛精度ε 　2）选取搜索方向S(k) 　3）确定步长因子a，沿搜索方向构造新迭 代点 　4）基于新迭代点进行收敛性判断（若新点满足收敛精度，则其为最优点，终止计算；否则，以其为新起点，转步骤2进行下一轮迭代） (1)点距准则：用相邻两迭代点距离判断 (2)值差准则：用相邻两迭代点函数值差判断 (3)梯度准则：用相邻两迭代点梯度模长判断 １）本质和内涵：　　下降－优化的目标和依据　　迭代－优化的方法和手段２）作用价值：　　迭代求优的理论依据、方法基础３）地位：　　目前实际中所使用各种一维、多维优化方法所共同遵循的基本方法。　 1.概念：基于下降迭代原理，通过数值迭代求解一元函数极小值的方法 　 最基本、简单的优化方法 　２.用途： 一元函数求优 多元函数优化问题搜索方向上求最优步长 ３、一维搜索法的实现步骤和方法 ?确定极值点的初始搜索区间　 进 退 法 ?在极值区间搜索极值点　 黄 金 分 割 法 二 次 插 值 法 1）进退法确定初始搜索区间的原理 　　 　　查找目标函数上相邻三点函数值按“高－低－高”变化的单谷区间或按“低－高－低”变化的单峰区间。 a1 a2 a3 t0 t0 2t0 a F(x) 函数在单谷区间中一定存在极小值 函数在单峰区间中一定存在极大值 a1 a2 a3 t0 t0 2t0 a F(x) ２）进退法确定初始搜索区间的思路　 单 谷 区 间 目标函数三个试算点 X1 X2 X3 f(x1)f(x2)? f(x3)f(x2)? f(x1)f(x2)? f(x3)f(x2)? 计算比较三点函数值 单 峰 区 间 Y Y 更新试算点 更新试算点 N N 求极小值 求极大值 极小点在X3右侧 在X3右侧按一定步长构造两试算点继续比较 X1=x3 X2=x3+h X3=x3+2h ３）试算点更新方法(以求极小值为例) １： 如果f(x1)f(x2),　f(x2) f(X3) 在X１左侧按一定步长构造两试算点继续比较 X３=x１ X2=x１－h X１=x１－2h 2： 如果f(x1)f(x2),　f(x2) f(X3) 极小点在X1左侧 极小点在X1,X3之间 搜索结束 区间［X1,X3］ 为极值搜索区间 3： 如果f(x1)＞f(x2),　f(x2) f(X3) ３）进退法算法步骤 １、针对目标函数，给定三个试算点 　　　　 x1 ，x2，x3， （x1＜x2＜x3） ２、计算比较x1，x2，x3三点函数值大小，并根据函数值大小更改试算点x1，x2，x3 ３、继续比较三试算点函数值大小直至： 　　　　f(x1)f(x2),f(x2)f(X3) 　　或　f(x1)f(x2),f(x3)f(X2)　为止。 ５、黄金分割法、二次插值法原理 区间削去－不断从极值区间一侧删除不含极值点的部分，使区间逐步缩短逼近极值点 ６、黄金分割法 ２)、黄金分割法内点迭代公式 X1=a+(1- λ)(b-a) X2=a +λ(b-a)　 λ=0.618 给定搜索区间[a0, b0]、收敛精度ε a=a0;b=b0 x1=a+0.3