最优化设计.pptx

最速下降法班级：应用数学131802姓名： 魏峰学号： 201318050224目 录简 介点击添加文本基 本 思 想点击添加文本 计 算 步 骤例 题点击添加文本 优 缺 点、点击添加文本最速下降法简介最速下降法又称为梯度法，早先求解无约束多元函数极值的数值方法，是1847 年由著名数学家Cauchy 给出的，它是解析法中最古老的一种，其他解析方法或是它的变形，或是受它的启发而得到的，因此它是最优化方法的基础。作为一种基本的算法，他在最优化方法中占有重要地位。优点：是工作量少，存储变量较少，初始点要求不高；缺点：是收敛慢，效率不高，有时达不到最优解。返回最速下降法简介从当前点 出发，取函数在该点 处下降最快的方向作为搜索方向 。任一点的负梯度方向是函数值在该点下降最快的方向。将n维问题转化为一系列沿负梯度方向用一维搜索方法寻优的问题。返回 最速下降法基本思想最速下降法基本思想最速下降法基本思想最速下降法基本思想最速下降法基本思想具体计算步骤返回x(1), ε 0, k=1k=k+1Yes|| ▽f(x(k) ) || ε?stop. x(k) –解 Nod(k)= －▽f(x(k) )解minf(x(k)+λ d(k)) s.t.λ 0得x(k+1)=x(k)+λkd(k)计算框图点击添加文本点击添加文本点击添加文本点击添加文本例题 1点击添加文本点击添加文本点击添加文本点击添加文本返回例题 2点击添加文本例：试用最速下降法求的极小点。迭代两次，计算各迭代点的函数值、剃度及其模，并验证相邻两个搜索方向是正交的。点击添加文本点击添加文本点击添加文本例题 2例：试用最速下降法求的极小点。迭代两次，计算各迭代点的函数值、剃度及其模，并验证相邻两个搜索方向是正交的。点击添加文本解：设初始点为点击添加文本点击添加文本点击添加文本例题 2点击添加文本点击添加文本求出点击添加文本由点击添加文本例题 2点击添加文本点击添加文本由求得点击添加文本点击添加文本例题 2点击添加文本点击添加文本点击添加文本验证相邻两个方向的正交性：点击添加文本返回梯度的关系点击添加文本点击添加文本点击添加文本点击添加文本梯度的关系点击添加文本点击添加文本点击添加文本点击添加文本?对于最优化目标函数来说，图中的一束椭圆表示函数的等值线，愈是内圈的椭圆，所对应的函数值愈小。由于最速下降法相邻两次的搜索方向互相垂直，搜索路径实际上是一条锯齿状的路径，也就是最速下降法的锯齿现象。点击添加文本点击添加文本点击添加文本点击添加文本点击添加文本点击添加文本点击添加文本点击添加文本最速下降法优缺点沿负梯度方向函数值下降很快的特点，容易使认为这一定是最理想的搜索方向，然而事实证明，梯度法的收敛速度并不快．特别是对于等值线（面）具有狭长深谷形状的函数，收敛速度更慢。算法简单，每次迭代计算量小占用内存量小点击添加文本点击添加文本原因是由于每次迭代后下一次搜索方向总是与前一次搜索方向相互垂直点击添加文本点击添加文本返回谢谢大家定义函数：，可微。梯度的概念：是定义在上的可微函数，称以的n个偏导数为分量的向量为的梯度，记作即令，为在点沿最速下降方向所走的距离，最优步长。可有最速下降法的迭代公式：，使得 确定最优步长的方法如下：采用任意一种一维寻优法此时的已成为步长的一元函数，故可用任意一种一维寻优法求出，即 1 选取初始点，给点终止误差； 2 计算，若，停止迭代，输出，否则，进行第三步； 3 取； 4 进行一维搜索，求，使得令，，转第二步。由以上计算步骤可知，最速下降法迭代终止时，求得的是目标函数驻点的一个近似点。求解，设初始点为求迭代一次后的迭代点解：因为所以所以令求解令所以函数；的表达式可表示为因为所以可表示为说明两个相邻的搜索方向是正交的。其中， ，分别为对称正定矩阵A的最大与最小特征值，当》时收敛就变的非常慢，而且当很小时，由于舍入误差的影响，计算将出现不稳定，所以这个算法实际中使用很少，一般作为其他优化算法的启动项。