- 1、本文档共9页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
第三章--无约束最优化的梯度方法.doc
第三章 无约束最优化的梯度方法
1.最速下降法
假定我们已经迭代了次,获得了第个迭代点。从出发,显然应沿下降方向进行,由于负梯度方向是最速下降方向,因此沿负梯度方向应该是有利的。因此,取搜索方向。
此时有:
如将该方法应用于二次函数,则可求出的显式表达式。
2.Newton法
适用条件:如果目标函数在上具有连续的二阶偏导数,其Hesse矩阵正定。
基本想法:考虑从到的迭代过程。
在点处用二次函数来逼近,即:
3.共轭方向法与共轭梯度法
1) 共轭方向法
定义1:设是对称正定矩阵。若维空间中非零向量系满足
, ,则称是共轭的,或称的方向是共轭方向。
定理1:若非零向量系是共轭的,则这个向量线性无关。
推论:在维空间中,互相共轭的非零向量的向量个数不超过。
定义2:设是线性无关的向量系,是任意实数。对于任意指定的,称形式为的向量集合称为由点和向量系所生成的线性流形,记为。
定理2:假设:
①为对称正定矩阵
②非零向量是共轭向量系;
③对二次目标函数顺次进行如下次直线搜索:,,其中是任意选定的初始点。则
①,
②是二次函数在线性流形上的极小点。
证明①:前面已经证明
由条件③可知
上式左乘后再在两边加上,得:
即:
由上式有
,
将所得等式两边左乘,有
证明②:
按条件③,,则存在一组数使得
同样,对于任意
上面两式相减得
由结论①可知
由于是正定的,因此是在线性流行上的极小点。
当时,线性流行就是整个维空间了,因此此时就是中的极小点。
共轭方向法:
已知:具有正定矩阵的二次目标函数和终止限。
①选定初始点和具有下降方向的向量;置。
②作直线搜索。
③判别是否满足:若满足,停机。
④提供共轭方向,使得,
⑤k=k+1
二次函数的直线搜索:
共轭向量系的构造方法:
先选定个线性无关的向量系,令
设已求得共轭向量,现在来求
令
为使与共轭,应有:
,
由此解得:
于是
共轭方向法的适用范围:
可用于非二次函数,首先通过Taylor公式用二次函数来逼近非二次函数。其次,可用来构造共轭向量系,这要求充分地靠近。
2) 共轭梯度法
初始共轭向量恰好取为初始点处的负梯度,以下各共轭方向由第迭代点处的负梯度与已得到的共轭向量的线性组合来确定。
因为该方法每一个共轭向量都是依赖于迭代点处的负梯度构造出来的,所以称为共轭梯度法。
设已求得共轭向量,现在来求
由,知和是线性无关的,取
考虑与共轭,需满足:
于是有:
现在证明除与共轭外,还与共轭。
对依次计算
由于是共轭向量,因此,
因为
又因为,
从共轭向量系构建方法可以看出,迭代点处的梯度是共轭向量系的线性组合。
,,
因此有:,
,
从而证明了与共轭。
共轭梯度法在非二次函数中的应用:
为了把共轭梯度法应用在非二次函数中,有必要消去表达式
中的。
由于
因为,
根据表达式的不同,可得到四种共轭梯度算法。最常采用的是第二种表达方式。
4.变尺度法
1)基本想法
考虑Newton迭代公式,
变尺度法就是要消除这个迭代公式中的Hesse逆矩阵,为此拟采用某种近似矩阵来替换它,即构造一个矩阵序列去逼近。
因此,迭代公式为
其中可通过从出发沿作直线搜索来确定。
为使确实与近似并具有容易计算的特点,对附加下列条件。
①要求对称正定,保证迭代公式具有下降性质。
如对称正定,则,保证迭代公式具有下降性质。
②要求之间的迭代具有简单的形式。,其中称为校正矩阵,上式称为校正公式。
③必须满足拟Newton条件
对于二次函数而言,有:
上面两式相减有:
如的逆存在,则有
成立,表明能很好近似。
如记,,于是拟Newton条件可写为:
拟牛顿法算法:
已知:目标函数及其梯度,终止准则。
①选定初始点;计算,选定初始矩阵。
②计算搜索方向。
③作直线搜索。
④如满足终止准则,停机。
⑤计算。
⑥,转②。
2)校正公式
(1)对称秩1算法(SR1法)
校正公式取为
其中是维待定非零向量,是待定常数,由于校正公式必须满足拟牛顿条件,于是有:。
取,于是
校正公式为:
对称秩1算法的性质:
性质1:设将SR1法施用于具有对称正定矩阵的二次函数,如果
①初始矩阵是对称的。
②迭代点是互异的。
③当时,
那么有:
(Ⅰ)此算法所生成的搜索方向是互相共轭的。
(Ⅱ)对,
性质2:若性质1的条件都满足,并且经过次迭代才求到极小点,则。
(2)DFP算法
考虑如下形式的校正公式
由于校正公式必须满足拟牛顿条件,于是有:
取,
再令,
于是有:,
校正公式为:
DFP算法性质:
性质1:设将DFP法施用于具有对称正定矩阵的二次函数,如果
①初始矩阵是对称的。
②迭代点是互异的。
那么有:
(Ⅰ)此算法所生成的搜索方向是互相共轭的。
(Ⅱ)对,
性
您可能关注的文档
- 第七章机械系统的动力学分析.ppt
- 第七章林业企业要素管理.ppt
- 第七章案例分析讨论.ppt
- 第七章法的起源与历史类型.ppt
- 第七章点的运动学.ppt
- 第七章煤矿灾害预防与事故应急管理.doc
- 第七章用ADO访问Web数据库.doc
- 第七章用户定制数据类型.ppt
- 第七章电子商务安全和法律问题.ppt
- 第七章目标市场战略(市场营销-山东大学,许仙).ppt
- 上课《归园田居(其一)》课件28张.pptx
- 色彩的魅力课件55.ppt
- 山水田园诗导学练习鉴赏.ppt
- 部编版《白鹭》课件.pptx
- 《Excel在财务中的应用》项目七 全面预算编制方法与应用 教学课件.pptx
- 《Excel在财务中的应用》项目六 利润管理决策模型与应用 教学课件.pptx
- 《Excel在财务中的应用》项目五 运营资金的管理 教学课件.pptx
- 《Excel在财务中的应用》项目四 项目投资管理决策与应用 教学课件.pptx
- 《Excel在财务中的应用》项目三 筹资管理决策模型与应用 教学课件.pptx
- 《Excel在财务中的应用》项目二 Excel 常用函数基础 教学课件.pptx
最近下载
- 以钉钉子精神学习贯彻二十届三中全会《决定》心得体会.docx VIP
- 四年级下册语文第3课天窗说课稿一等奖.docx VIP
- 售后服务方案、培训方案.docx VIP
- T∕CSTM 00563-2022 景观环境用水中微塑料的测定 傅里叶变换显微红外光谱法.pdf
- 售后服务方案、培训方案.docx VIP
- 教科版科学六年级上册全册教学课件(2023年5月修订).pptx
- 动物普通病-心血管疾病.ppt VIP
- 残联综合服务中心康复部的工作总结.pptx VIP
- 2024年河北省中考语文总复习课件:积累与运用-专题二 字音、字形、查字典(一).pptx VIP
- 智慧商砼企业综合管理系统产品介绍.ppt VIP
文档评论(0)