运筹学与最优化方法第2章.ppt

第 二 章 无约束非线性规划 2.1 解的定义 2.2 一维问题有解的条件 2.3 一维问题求解的方法 例 求 min ф(λ)= arctan t d t 解： ф′ (λ) =arctan λ , ф″(λ)=1／(1+ λ2) 迭代公式： λk +1= λk - (1+ λ2) arctan λk 取λ1= 1，计算结果： k λk ф′ (λk) 1／ф″(λk ) 1 1 0.7854 2 2 -0.5708 -0.5187 1.3258 3 0.1169 -0.1164 1.0137 4 -0.001095 -0.001095 λ4≈ λ* =0 取λ1=2，计算结果如下： k λk ф′ (λk) 1／ф″(λk ) 1 2 1.1071 5 2 -3.5357 -1.2952 13.50 3 13.95 不收敛。 k λk ф′ (λk) 1／ф″(λk ) 1 2 1.1071 5 2 -3.5357 -1.2952 13.50 3 13.95 不收敛。 插值法： 用ф(λ)在2 或3 个点的函数值或导数值，构造2 次或3次多项式作为ф(λ)的近似值，以这多项式的极小点为新的迭代点。 3点2次，2点2次，4点3次，3点3次，2点3次等 以3点2次为例： 取λ 1，λ 2，λ3，求出ф(λ1)， ф(λ2)， ф(λ3) 二次插值多项式： g(x) = α x2 +β x +γ α x12 + β x1 + γ = g(x1) α x22 + β x2 + γ = g(x2) α x32 + β x3 + γ = g(x3) 解得 Newton法优缺点： 优点：二阶收敛。当x(k)充分接近x*时,局部函数可用正定二次函数很好地近似，故收敛很快。 二次终结性：当f(x)为正定二次函数时，从任意初始点可一步迭代达到最优解。 设f(x)=1／2xTQx+PTx+r , Qn×n对称正定，P∈ Rn, r∈ R. ? x(1), ▽f(x(1))=Q x(1) +P ▽2f(x(1))=Q 迭代： x(2) = x(1) - Q –1(Qx(1) +P) = - Q –1 P (驻点即opt.) 主要缺点： (1)局部收敛 (2)用到二阶Hess