Lecture6算法和算法复杂性一维搜索.ppt

最优化方法 Optimization第十一讲 第八章 算法和算法复杂性 第九章 一 维 搜 索 主要内容 算法概念 算法收敛准则 全局收敛, 局部收敛, 收敛速度 算法二次终止性 算法复杂性 内点法: 路径跟踪法 算法概念 一．下降迭代算法 迭代： 下降： 在每次迭代中，后继点处的函数值要有所减少。 下降迭代算法的步骤： 选取搜索方向是最关键的一步，各种算法的区别， 主要在于确定搜索方向的方法不同。 定理： 证明： 二．算法映射 定义： 例： 例： x y 1 y=(x+1)/2 A(x(1,k)) A(x(2,k)) 解集合 　　　把满足某些条件的点集定义为解集合．当迭代点属 　于该集合时，停止迭代．　　　　　　　　　　　　　 常用的解集合： 算法收敛问题 定义： 实用收敛准则 收敛速率 定义： 收敛级p越大，序列收敛得越快；当收敛级p 相同时，收敛比β越小，序列收敛得越快。 例： 例： 例： 用二次终止性作为判断算法优劣的原因： (1)正定二次函数具有某些较好的性质，因此一个好的算法应能够在有限步内达到其极小点。 (2)对于一般的目标函数，若在其极小点处Hesse矩阵正定， 因此可以猜想，对正定二次函数好的算法，对于一般目标函数也应具有较好的性质。 若某个算法对任意的正定二次函数，从任意的初始点出发，都能经有限步迭代达到其极小点，则称该算法具有二次终止性。 算法的二次终止性 算法复杂性 描述算法的存储要求和运行时间要求，分为算法的空间复杂性和算法的时间复杂性。 利用算法需要的初等运算次数表示算法的时间复杂性。 算法复杂性 求解实例I的算法的基本计算总次数C(I)是实例输入长度d(I)的一个函数，该函数被另一个函数g(x)控制，即存在一个函数g(x)和一个常数a，使得 多项式时间算法与指数时间算法 输入规模(input size)：表示一个实例所需要的字符串长度。 一般的，使用 位二进制就可以表示任意整数r。 线性规划的输入规模为： 多项式时间算法与指数时间算法 假设问题和解决该问题的一个算法已经给定，若给定该问题的一个实例I，存在多项式函数g(x)，使得 成立，则称该算法对实例I是多项式时间算法. 若存在g(x)为多项式函数且对该问题任意一个实例I ，都有上式成立，则称该算法为解决该问题的多项式时间算法。 当g(x)为指数函数时，称相应的算法为指数时间算法。 （1）随着问题输入规模的增加，算法的计算量（即算法复杂性）呈多项式增长. （2）一个多项式时间算法利用另一个多项式时间算法作为其“子程序”，构造一个新的复合型算法，则新算法仍是多项式时间算法。 多项式时间算法的优点 上例用单纯形算法需要2n-1次迭代 单纯形算法的复杂性 精确线搜索 试探法: 黄金分割法、Fibonacci法、二分法 函数逼近法: Newton法、割线法、抛物线法、 三次插值法 非精确线搜索 Armijo步长规则、Goldstein步长规则、 Wolfe步长规则 一维搜索 精确、非精确线搜索 函数逼近法：牛顿法 基本思想：在极小点附近用二阶Taylor多项式近似。 定理： 证明：