7无约束最优化的解析法.docVIP

第七章 无约束最优化的解析法 本章主要内容：最速下降法及其收敛性与收敛速度 Newton切线法及其收敛性 与收敛速度 阻尼Newton法 共轭梯度法及其收敛性 变度量 法、最小二乘法 教学目的及要求：掌握最速下降法并理解其收敛性与收敛速度，掌握Newton切 线法并理解其收敛性与收敛速度，了解阻尼Newton法；掌握 共轭梯度法并理解其收敛性；了解变度量法、最小二乘法。 教学重点：最速下降法． 教学难点：变度量法． 教学方法：启发式． 教学手段：多媒体演示、演讲与板书相结合． 教学时间：6学时． 教学内容： §7.1 最速下降法 考虑无约束最优化问题 ， （7.1.1） 其中具有一阶连续偏导数． 算法7-1（最速下降法） Step1 选取初始数据．选取初始点，给定允许误差，令． Step2 检查是否满足终止准则．计算，若，迭代终止，为问题（7.1.1）的近似最优解；否则，转Step3． Step3 进行一维搜索．取，求和，使得 ， ． 令，返回Step2． 特别地，考虑 ， （7.1.2） 其中为正定矩阵，． 设第次迭代点为，从点出发沿作一维搜索，得 ， 其中为最优步长．根据定理6.1.1，有．而， 所以，从而，而正定，即，故由上式解出 ， （7.1.3） 于是 ， （7.1.4） 这是最速下降法用于问题（7.1.2）的迭代公式． 用最速下降法求解问题 ， （7.1.5） 其中．取初始点，允许误差． 解 问题（7.1.5）中的是正定二次函数，且 ． 在点处的梯度． 第一次迭代： 令搜索方向， ， 从点出发沿作一维搜索，由（7.1.3）式和（7.1.4）式有 ， ． 第二次迭代： 令， ， 从点出发沿作一维搜索，按（7.1.4）式得 ． 第三次迭代： 令， ， 按（7.1.4）式求得 ． 第四次迭代： 令， ， 按（7.1.4）式求得 ． 第五次迭代： 令， ， 按（7.1.4）式求得 ． 此时，，已满足精度要求，故得问题（7.1.5）的近似最优解 ． 实际上问题（7.1.5）的最优解为． 定理7.1.1 设具有一阶连续偏导数，，记，假定水平集有界，令是由最速下降法求解问题（7.1.1）产生的点列，则 （1）当是有穷点列时，其最后一个点是的平稳点； （2）当是无穷点列时，它必有极限点，并且任一极限点都是的平稳点． 定理7.1.2 设具有二阶连续偏导数，由最速下降法解问题（7.1.1）产生的点列收敛于．若存在和，使得当时，有 ， （7.1.7） 则线性收敛于． §7.2 Newton法 ． 令 ，即，解之得 ． 算法7-2（Newton法） Step1 选取初始数据．选取初始点，给定允许误差，令． Step2 检查是否满足终止准则．计算，若，迭代终止，为问题（7.1.1）的近似最优解；否则，转Step3． Step3 构造Newton方向．计算，取． Step4 求下一个迭代点．令，，返回Step2． 用Newton法求解问题（7.1.5），仍取初始点，允许误差． 解 ，，故 ，， ． 由于 ，迭代结束，得为问题（7.1.5）的最优解． 定理7.2.1 设具有三阶连续偏导数，，若存在和，使得当时，有 ， （7.2.2） 则当初始点充分接近时，由Newton法解问题（7.1.1）产生的点列收敛于，并有二阶收敛速度． 算法7-3（阻尼Newton法） Step1 选取初始数据．选取初始点，给定允许误差，令． Step2 检查是否满足终止准则．计算，若，迭代终止，为问题（7.1.1）的近似最优解；否则，转Step3． Step3 构造Newton方向．计算，取． Step4 进行一维搜索．求和，使得 ， ． 令，返回Step2． 用阻尼Newton法求解下面问题： ， （7.2.6） 其中．取初始点，允许误差． 解 第一次迭代： ， ， 故 ， ． 于是，Newton方向 ，从出发沿作一维搜索，即求的最优解，得到．令 ． ． 第二次迭代： ， ． 从出发沿作一维搜索，即求 的最优解，得到．令 ． ． 此时，，得问题（7.2.6）的最优解为，这是惟一的最优解． 定理7.2.2 设具有二阶连续偏导数，，记，假定水平集有界，并且对一切正定．若是由阻尼Newton法求解问题（7.1.1）产生的点列，