智能理论与技术.pptVIP

智能理论与技术 杨启文 薛云灿 课程纲要 传统最优化技术 无约束最优化方法（9学时） 有约束最优化方法（自学，3学时） 智能优化计算 进化计算（15学时） 模糊逻辑（9学时） 人工神经网络（18学时） 最优化技术的重要性 传统最优化方法 Opt. f ( xi, yj, ?k ) s.t. gh ( xi, yj, ?k ) ? ? ?, ? ? 0 h = 1,2, … ,m 其中： xi 为决策变量（可控制） yj 为已知参数 ?k 为随机因素 f 为目标函数 gh 为约束条件 传统最优化方法 －－无约束最优化方法 概述 传统最优化方法 －－无约束最优化方法 概述 基本方法1、黄金分割法（0.618法）2、二次插值法（抛物线法）3、单纯形算法 5.1 黄金分割法 5.1 黄金分割法（图5.1.1） 5.1 黄金分割法 5.1 黄金分割法（图5.1.1） 5.1 黄金分割法 列题：min f(x)=2x2-x-1 初始区间［a1,b1]=[-1,1],精度L 0.16 5.1 黄金分割法 5.2 二次插值法 5.2 二次插值法 5.2 二次插值法 5.2 二次插值法 5.2 二次插值法 5.2 二次插值法 5.2 二次插值法 5.2 二次插值法 5.2 二次插值法 5.2 二次插值法 5.2 二次插值法 5.2 二次插值法 5.2 二次插值法 5.3.1 单纯形算法概述 5.3.3 单纯形算法步骤一之初始化过程 5.3.3 单纯形算法步骤一之初始化过程 5.3.3 单纯形算法步骤一之初始化过程 5.3.3 单纯形算法步骤一之初始化过程 5.3.4 单纯形算法步骤二之反射过程 5.3.4 单纯形算法步骤二之反射过程 5.3.5 单纯形算法步骤三之扩展过程 5.3.6 单纯形算法步骤四之压缩过程 5.3.6 单纯形算法步骤四之压缩过程 传统最优化方法 －－无约束最优化方法 梯度与HESSE阵 最优梯度法 优化设计是追求目标函数值最小，因此，自然可以设想从某点出发，其搜索方向取该点的负梯度方向，使函数值在该点附近下降最快。这种方法也称为最优梯度法。 一、基本原理梯度法的迭代公式为： x(k+1)=x(k)-?(k)g(k)其中g(k)是函数F(x)在迭代点x(k)处的梯度?f(xk) ， ?(k)一般采用一维搜索的最优步长，即 f(x(k+1))=f(x(k)-?(k)g(k))=min f(x(k)-?(k)g(k))=min?(?)据一元函数极值条件和多元复合函数求导公式，得 ?’(?)= 0 即得?(k) 的值 由?’(?)= -(? f(x(k)-?(k)g(k)))T g(k) =0即 （? f(x(k+1)))T g(k) =0或 (g(k+1))Tg(k)=0 此式表明，相邻的两个迭代点的梯度是彼此正交的。也即在梯度的迭代过程中，相邻的搜索方向相互垂直。梯度法向极小点的逼近路径是锯齿形路线，越接近极小点，锯齿越细，前进速度越慢。 最优梯度法 二、迭代终止条件 采用梯度准则： || g(k) ||? ? 三、迭代步骤（1）任选初始迭代点x(0)，选收敛精度? 。（2）确定x(k)点的梯度（开始k=0)（3）判断是否满足终止条件|| g(k) ||? ?？若满足输出最优解，结束计算。否则转下步。（4）从x(k)点出发，沿-g(k)方向作一维搜索求最优步长?(k)。得下一迭代点 x(k+1)=x(k)-?(k)g(k) ，令k=k+1 返回步骤（2）。 最优梯度法 四、梯度法流程图 最优梯度法解下题： min f(x)=2x12+x22 初点x(2) =(1,1)T , ?=1/10 共轭梯度法 共轭梯度法是共轭方向法的一种，因为该方法中每一个共轭向量都是依赖于迭代点处的负梯度而构造出来的，所以称作共轭梯度法。 一、共轭梯度法的搜索方向 共轭梯度法的搜索方向采用梯度法基础上的共轭方向，如图所示，目标函数F(x)在迭代点xk+1处的负梯度为-? f(xk+1)，该方向与前一搜索方向Sk互为正交，在此基础上构造一种具有较高收敛速度的算法，该算法的搜索方向要满足以下两个条件： （1）以xk+1