数值分析_第5章_无约束问题的最优化方法1.pptVIP

第五章

无约束最优化方法

无约束最优化问题：

minf(x)f:RnR

目的是找Rn中的一点x*，使对xRn，均有

f(x*)f(x)，称为此无约束最优化问题的全局极小点。

求解无约束最优化问题的计算方法称为无约束最优化方法。

无约束最优化方法应用广泛，理论也比较成熟；

可将约束优化问题转化为无约束优化问题来处理；

f(x),xD

minf(x)minF(x),其中F(x)

xDxRn,others.

解析法：利用函数的一阶或二阶导数的方法



收敛速度快，需要计算梯度或者Hesse矩阵

无约束优化方法

可求得目标函数的梯度时使用解析法

本章介绍解析法

直接法：仅利用函数值的信息，寻找最优解

不涉及导数，适用性强，但收敛速度慢

在不可能求得目标函数的梯度或偏导数时使用直接法

解析法要用到目标函数的梯度或者Hesse矩阵，容易想到

利用一阶必要条件将无约束优化问题转化成一个梯度为0确定

的方程组。

这里用到的一阶必要条件就是最优性条件。

所谓最优性条件，是指最优化问题的最优解所要满足的

必要条件或充分条件。

这些条件对于最优化算法的建立和最优化理论的推导都是

至关重要的。

n

f:RRxf(x)N(x*)

f(x*)0

若*为的局部极小点，且在*内二次连续

xfxNxfx

可微,则f(x*)0,2f(x*)半正定。

n

f:RRN(x*)f(x)

f(x*)02fxxf(x)

2

如果fx负定，则x为f(x)的严格局部极大点。



f:RnRxx

f(x)f(x*)0

f:RnRx

f(x*)0xf(x)

利用最优性条件求解下列问题：

11

minfxx3x3x2x

313221

利用二阶条件

ff

x21x22x判断驻点是否

x1x22

12是极小点

令fx0,即：

2

x110

2

x22x20

1111

得到驻点：

x1,x2,x3,x4.

0202

函数fx的Hesse阵：利用二阶条件