第三章无约束最优化方法说课.ppt

* 3-5 无约束最优化的解析法 * 3-5 无约束最优化的解析法 * 共轭方向法 梯度法收敛慢，牛顿法虽加快了收敛，但每次要计算二阶导数矩阵及其求逆，计算工作量太大。 3-5 无约束最优化的解析法 * 作为一种迭代法：共轭方向是在迭代过程中逐次产生的，在迭代的第一步中，取负梯度方向作为移动方向，即 ，而在以后各步中，则以负梯度方向加上已产生的方向的线性组合作为移动方向： 共轭梯度法 这时，利用向量 与 关于[C]共轭的特性，即 将式（3-75）两边的矩阵转置后均乘以 ，则得 3-5 无约束最优化的解析法 * 这种在迭代过程中逐次产生共轭方向的方法，称为共轭梯度法。 当 不是极小点时，可用下式代替式（3-77）： 这样，可以不必计算[H]（海色矩阵），而直接由函数的梯度计算 的值。 3-5 无约束最优化的解析法 * 共轭梯度法的迭代步骤如下： 1. 给定初始值 ， ，并令 。 2. 对于k=0,1,2,...,n-1 令 其中， 可由下式求得 当kn-1时，令 其中 3-5 无约束最优化的解析法 * 3. 当 ，则迭代停止，否则以 代替 ，并回到第一步。 3-5 无约束最优化的解析法 用共轭梯度法求目标函数 的极小值，初始点选在x(0)=(0,0)T，精度为0.01。 * 3-5 无约束最优化的解析法 用共轭梯度法求目标函数 的极小值，初始点选在x(0)=(0,0)T，精度为0.01。 * 3-5 无约束最优化的解析法 用共轭梯度法求目标函数 的极小值，初始点选在x(0)=(0,0)T，精度为0.01。 * 3-5 无约束最优化的解析法 * 四、变尺度法 牛顿法、梯度法可以归结为下述公式： 其中， 为n×n矩阵，若令矩阵 等于单位矩阵，即 ， 则得梯度法 若令 为F(X)的二阶导数矩阵的逆矩阵 ，便是牛顿法。 收敛慢 收敛快，但要求二阶导数和矩阵求逆，计算工作量大 变尺度法是选取一个 ，使其逼近海色矩阵的逆 ，则由式（3-79）确定的算法就可以保持收敛快的特点， 又避免了冗繁的计算工作。 3-5 无约束最优化的解析法 * 构造一个矩阵序列 ，使之逼近二阶导数矩阵的逆阵。 开始时，取 ，然后按下列递推公式计算每次迭代的H: 式中， 为修正矩阵。可以构造不同形式的 最常用的一种形式，构成变尺度法的递推公式： 其中 3-5 无约束最优化的解析法 * 根据以上分析，可得变尺度法的迭代步骤： 1. 给定初始点 与初始矩阵 2. 令 其中，求 ，使 3. 若 ，则令 ，并终止迭代，否则利用 修正矩阵 ，并回到2，继续迭代。 3-5 无约束最优化的解析法 * 3-5 无约束最优化的解析法 用变尺度法求目标函数 的极小值，初始点选在x(0)=(0,0)T，精度为0.01。 * 3-5 无约束最优化的解析法 用变尺度法求目标函数 的极小值，初始点选在x(0)=(0,0)T，精度为0.01。 * 3-5 无约束最优化的解析法 * 3-6 目标函数为平方和的极小问题 3-6 目标函数为平方和的极小问题 ——最小二乘法、修正阻尼最小二乘法—— 对于有些实际问题，要求满足不等式方程组 的点X，这里 为给定的性能控制指标，各 可以相同、也可以不同。 一般地说， 是非线性的，现在要解非线性不等式（3-82），经常采用的手段是把问题转化为求X，使 * 的问题。给定的诸 ，可以作为计算过程中的控制量，一旦达到所述要求，即可终止计算。 平方和形式 最小二乘法（高斯—牛顿法） 函数（3-83）的一阶偏导数 设 是函数（3-83）的极小点 的一个近似点，为了求得下一个近似点 ，在 附近将函数各项 展开，取其线性近似式： 3-6