数据科学优化方法 课件 孙怡帆 第7--12章 共轭梯度方法---交替方向乘子方法+附录A 数学基础.pptx

;第7章共轭梯度方法;共轭方向方法;方法的引入;方法的引入;方法的引入;;方法的引入;方法的引入;共轭方向方法;;共轭的定义及性质;共轭方向方法;共轭方向方法的计算步骤及性质;共轭方向方法的计算步骤及性质;;共轭方向方法的计算步骤及性质;共轭方向方法的计算步骤及性质;共轭方向方法的计算步骤及性质;;共轭方向方法的计算步骤及性质;第7章共轭梯度方法;针对正定二次函数的共轭梯度方法;针对正定二次函数的共轭梯度方法;针对正定二次函数的共轭梯度方法;方法的推导;方法的推导;方法的推导;针对正定二次函数的共轭梯度方法;方法的性质;;;方法的性质;方法的性质;方法的性质;方法的性质;方法的性质;方法的性质;7.2针对正定二次函数的共轭梯度方法;预处理技术;预处理技术;预处理技术;第7章共轭梯度方法;非线性共轭梯度方法;非线性共轭梯度方法;FR方法;FR方法;;FR方法;FR方法;;FR方法;FR方法;FR方法;非线性共轭梯度方法;PRP方法;PRP方法;7.3非线性共轭梯度方法;重启共轭梯度方法;重启共轭梯度方法;重启共轭梯度方法;重启共轭梯度方法;非线性共轭梯度方法;其他非线性共轭梯度方法;其他非线性共轭梯度方法;第7章共轭梯度方法;数值实验;数值实验;数值实验;数值实验;数值实验;数值实验;数值实验;;第8章约束最优化问题的最优性理论;第8章约束最优化问题的最优性理论;约束最优化问题的一般形式和定义;约束最优化问题的一般形式和定义;约束最优化问题的一般形式和定义;约束最优化问题的一般形式和定义;约束最优化问题的一般形式和定义;约束最优化问题的一般形式和定义;约束最优化问题的一般形式和定义;约束最优化问题的一般形式和定义;约束最优化问题的一般形式和定义;约束最优化问题的一般形式和定义;

例8.2的最优解，在最优解处前两个约束起作用，后两个约束不起作用，故，去掉后两个约束问题的解不变

;约束最优化问题的一般形式和定义;约束最优化问题的一般形式和定义;?;因此对于，有

由此可知，存在一个任意接近的点，其对应的目标函数值更小.例如，对于收敛于的序列

有.因此不是局部最优解，与已知条件矛盾，定理得证.

;第8章约束最优化问题的最优性理论;约束最优化问题的一阶最优性条件;

例8.3求解最优化问题;解：

根据一般约束最优化问题的定义可以得到以下信息：

最优解以及对应点的梯度为：

;不难看出，在处与共线，故：

其中.该例子中极大点处与共线，而其他点处并不共线.这意味着在这些点上总会有一个迭代方向使得迭代点依然在可行域之内而目标函数值有所下降.

例如对于圆周的右端点(1,0)，从该点出发沿顺时针方向的迭代方向即满足要求.;通过对目标函数和约束函数分别做一阶泰勒近似，也可以得到在最优解处，目标函数的梯度和等式约束的梯度共线的结论.

为了保证迭代点满足，需要迭代方向满足满，对在点做一阶泰勒近似，有

因此;此时可以保证迭代点依然在可行域内.类似的对目标函数同样进行一阶泰勒近似

为满足迭代点处目标函数值减少，需要满足

若任意迭代方向不能同时满足与，才可能是局部最优解.只有二者共线时才可能出现不能同时满足的情况.;为了简化描述，引入Lagrange函数

其中，称为的Lagrange乘子.

由于，因此共线条件等价于

上式表明可以通过寻找Lagrange函数的稳定点来求解等式约束优化问题.

;

注：由于极大点处共线条件同样成立，故而

只是是等式约束最优化问题的局部最优解的必要非充分条件.;

例8.4求解最优化问题;解：

该问题的可行域为单位圆圆周和圆内.最优解依旧是

且

仍然成立.区别于仅含等式的约束最优化问题，Lagrange乘子的符号在此问题下至关重要.

;采用例8.3中已经使用过的分析思路，如果在可行点处存在迭代方向使得下一个迭代点在可行域内且目标函数值下降则其必不是局部最优解.在该问题下需要重新思考之处在于保证迭代点为可行点的条件，具体地，当

依然为可行点，因此条件变为

;

下面可以分两个情形讨论：

情形1：位于可行域内部，