4无约束最优化方法-直接搜索法.ppt

无约束最优化方法 无约束最优化方法 ? 求解无约束最优化问题 min f(x) 的数值 迭代解法。 ? 构成约束最优化方法的基础解法。 ? 求解无约束最优化问题的下降迭代解法具有 统一的迭代格式，其基本问题是选择搜索方 向和在这些搜索方向上进行一维搜索。 ? 由于构成搜索方向的方式可以不同，从而形 成了各种不同的无约束最优化方法。 无约束优化的直接搜索法 X (k+1) = X (k) + ? (k) S (k) ( k = 0 , 1 , 2 , …) 各种无约束优化方法的区别就在于确定其搜索方向 S (k) 的方法不同，所以搜索方向的构成问题是无约束优化方法的关 键。根据构造搜索方向所使用的信息性质的不同，无约束优化 方法可以分为两类： 一类是只利用目标函数值信息的无约束优化方法，如坐标 轮换法、鲍威尔法，称为直接搜索法；另一类是利用目标函数的 一阶或二阶导数信息的无约束优化方法，如梯度法、牛顿法、共 轭梯度法、变尺度法，称为间接搜索法。 坐标轮换法（变量轮换法、交替法、降维法） ? 基本思想 将 n 维无约束优化问题转化为 n 个沿坐标轴方向 e i (i=1, 2, … , n) 的一维优化问题来求解，并记完成 n 次一 维搜索为一轮。若一轮搜索后未得到满足精度要求的最优点， 则继续下一轮迭代搜索。如此反复，直至得到满足精度要求 的最优点为止。在每一轮搜索中，每次迭代仅对 n 元函数的 一个变量沿其坐标轴方向进行一维搜索，其余 n-1 个变量均 保持不变，再依次轮换进行一维搜索的坐标轴，直至完成沿 n 个坐标轴方向的 n 次一维搜索。 x 2 X 2 (1) X 0 (1) X 1 (1) x 1 取 初 始 点 X (0) = X 0 (1) ， x 1 坐 标 轴 方 向 的 单 位 向 量 S 1 (1) =e 1 =[1 0] T ， x 2 坐 标 轴 方 向 的 单 位 向 量 S 2 (1) = e 2 =[0 1] T 。 X 1 (1) = X 0 (1) + α 1 (1) S 1 (1) ， X 2 (1) = X 1 (1) + α 2 (1) S 2 (1) 第一轮迭代搜索： X 1 (1) = X 0 (1) + α 1 (1) e 1 (1) = [ x (0) x (0) ] T + α (1) [1 0] T 1 2 1 X 2 (1) = X 1 (1) + α 2 (1) e 2 (1) = [ x 1 (1) x 2 (1) ] T + α 2 (1) [0 1] T 判断是否满足迭代收敛准则： || X 2 (1) – X 0 (1) ||≤ ? ？ 若满足，则输出最优解，否则，继续下一轮迭代搜索。 X i ( k ) = X i-1 ( k ) + α i ( k ) e i ( k ) ( k — 迭代轮次， i — k 轮迭代的第 i 次一维搜索 α i ( k ) — 一维搜索求得的最优步长） || X n (k) – X 0 (k) ||≤ ? ？ ? 计算步骤与算法框图 1 ）任选初始点 X (0) = X 0 (1) = [ x 1 (0) x 2 (0) … x n (0) ] T ， 给定迭代收敛精度 ? ， i = 1 ， k = 1 。 2 ）置 n 个坐标轴方向向量为单位向量，即 e 1 =[1 0 … 0 ] T ， e 2 =[0 1 0 … 0 ] T ， … ， e n =[0 … 0 1] T 。 3 ）按如下迭代计算公式进行迭代计算 X i ( k ) = X i-1 ( k ) + α i ( k ) e i ( k ) ( k — 迭代轮次， i — k 轮迭代的第 i 次一维搜索 i =1 ， 2 ， … ， n ） 4 ）判断是否满足迭代收敛准则 || X n (k) – X 0 (k) ||≤ ?