药物分子设到计第二讲.ppt

最优化方法 Optimization Methods 最优化问题概述 最优化问题概述 最优化问题的分类通常从目标函数以及约束条件的特点入手。 目标函数包括单变量函数、线性函数、线性函数平方和、二次函数、非线性函数平方和、非光滑非线性函数等类型。 约束条件包括无约束、简单有界、线性函数、光滑非线性函数等类型。 最优化条件 对于任何满足上述所有约束条件 的点 称为可行点(feasible point)，而所有可行点的集合称为可行区域(feasible region)。 全局极小Vs.局部极小 通常得到的是局部极小 约束条件下没有极值 极限条件才有极值 如，当 ， 最优化方法Optimization Methods 数值最优化方法 Numerical Optimization 最陡下降法 Steepest Descent 共轭梯度法 Conjugated Gradient 牛顿法 Newton’s Methods 非数值最优化方法 Non-numerical Optimization 模拟退火 Simulated Annealing 遗传算法 Genetic Algorithm 神经网络 Artificial Neural Network 最优化方法Optimization Methods 数值最优化方法 Numerical Optimization 最陡下降法 Steepest Descent 共轭梯度法 Conjugated Gradient 牛顿法 Newton’s Methods 非数值最优化方法 Non-numerical Optimization 模拟退火 Simulated Annealing 遗传算法 Genetic Algorithm 神经网络 Artificial Neural Network 数值最优化方法 算法结构——迭代方法 给定一个初始点 ，按照某一迭代规则生成一个有限/无限的点序列 来估计最优解 ，当给定的某个终止条件满足时停止迭代。 有限序列的最后一个点为模型最优解的最佳估计 无限序列的极限点为模型最优解的最佳估计 非线性最优化算法 基于步长的方法 step-length-based methods 信赖域方法 trust region methods 数值最优化方法 基于步长的方法 Step-length-based Methods – 步长因子 – 搜索方向，一般选择为F(x)在点 处的下降方向 数值最优化方法 线搜索方法 Line Search 确定步长因子 线搜索方法的基本结构 沿搜索方向 确定函数 最优值的搜索区间； 通过分割或插值技术迭代的缩小该区间，直至搜索到符合给定判据的可接受值 根据判断结果是否可以被接受的判据类型，线搜索方法可分为两大类： 精确线搜索 Exact line search 不精确的线搜索 Accurate line search 数值最优化方法 信赖域方法 在确保算法总体收敛的情况下，作为线搜索方法的替代技术。 与基于步长的方法的最大区别： 在迭代计算过程中，步长因子 几乎不变( ) 由于步长因子基本不变，需要按照某种规则尝试不同的方向矢量，以找到合适的搜索方向 ，以确保在迭代过程中目标函数值F(x)有足够多的下降。 最陡下降法Steepest Descent Methods 最陡下降法以目标函数的导数负方向为极小化方向，又称梯度法。 迭代公式 最陡下降法Steepest Descent is Slow 线搜索 line search 依赖于初始搜索方向的选择 梯度是进行搜索的方向 远离最小点时收敛快，最小点附近收敛慢（梯度接近0） 整体收敛性好 适用于优化的最初阶段 与其它方法连用 共轭梯度法Conjugated Gradient Methods 在每一步迭代中找到合适的搜索方向 ，使得该方向与所有先前迭代步中的搜索方向 具有G-共轭。（其中G为目标函数的正定Hessian矩阵。） 迭代公式 共轭梯度法Conjugated Gradient Methods 特点： 不仅运用当前的梯度，而且采用先前的最小化历史来确定下一步 收敛速度快。最多经过n次精确线搜索即可收敛 牛顿法Newton’s Methods 直接计算Hessian矩阵 收敛速度快（对正定二次函数，算法是二阶收敛，迭代一次得到极小点） 局部收敛 不一定收敛到极小点