原创力文档- 1、本文档共9页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
查看更多
§3 求多变量函数极值的基本下降法
考虑无约束非线性规划问题(UNP)，即
min f (x ) (UNP)
x
其中函数f :R n →R 1 。
3.1 最速下降法
最速下降法又称梯度法，是法国著名数学家Cauchy 于1947 年提出的利用负梯度方向求解无约束非
线性规划问题的一个简单而基本的方法。本节先引进函数在某点的最速下降方向的概念，然后给出最速
下降法的迭代步骤并证明其收敛性。
1．最速下降方向
考虑(UNP)，其中f : R n →R 1 具有连续偏导。根据微积分知识已经知道，从任一给定点x ∈R n 出发，
函数 ( ) −∇f (x )
f x 沿着该点的负梯度方向 前进时，函数值下降最快。下面我们推导更一般的结论。
设矩阵 n×n n T
H ∈R 是正定阵，向量s ∈R ，则称 s s Hs 是s 的H 范数。显然，H=I 时，s s
H H
就是欧氏范数。
设x ∈R n ，s ∈R n 是H 范数意义下的单位向量，即 s 1，则f (x ) 在x 处沿着d 方向以步长λ前
H
进时，利用Taylor 展开式知其下降量为
T
f (x ) −f (x +λs ) =−λ∇f (x ) s +o (λ)
因此 ( )
f x 在x 处沿着s 方向的下降率为
f (x ) −f (x +λs ) T
lim =−∇f (x ) s
λ→0 λ
据此，为使函数下降最快即下降率最大，我们考虑优化问题
T
min ∇f (x ) s
s.t . s 1
H
即
T
min ∇f (x ) s
T
s.t . s Hs 1
利用微积分知识易推得
−1
−H ∇f (x )
文档评论（0）