郑州大学-机器学习 优化算法-（p30）修改版.pptxVIP

优化算法汇报人：赵龙

无约束的优化问题约束优化总结

无约束的优化问题方向导数与梯度雅可比矩阵与黑赛矩阵梯度优化算法：线性最小二乘法的应用

方向导数与梯度?

?(1).定义：(2).方向导数的表现形式

(3).定理证明向量与方向余弦

2.梯度定义：

3.方向导数与梯度的关系：???

雅可比矩阵与黑赛矩阵泰勒公式雅可比矩阵黑赛矩阵

?(1).泰勒定理

(2).泰勒定理的证明

??黑赛矩阵雅可比矩阵

2.雅可比矩阵定义：

3.黑赛矩阵(1).定义：

(2).黑赛矩阵与极值：

4.泰勒公式的二阶展开——基于雅可比矩阵与黑赛矩阵?

优化算法一阶优化算法二阶优化算法

0.问题的提出：?概念：1.求解目标函数的导数2.找一阶导数为0的点，或者导数不存在的点3.应用极值的定义或者判定定理一般求极值的方法：

1.一阶优化算法：(1).算法介绍：

(2).算法流程：?当目标函数为凸函数时，梯度下降法的解是全局最优解；但一般情况下，其解不能保证是全局最优解。

(3).算法的直观展示：

0.问题的提出：?2.二阶优化算法：

(1).算法介绍：

(2).算法流程：

线性最小二乘的应用

0.问题的提出：??

1.问题的解决：

?

约束优化原问题与对偶问题KKT条件有约束条件的线性最小二乘

原问题与对偶问题原问题对偶问题原问题与对偶问题的关系

1.约束优化的原问题：

1.1广义拉格朗日函数：?

?

2.约束优化的对偶问题：定义：?3.原问题与对偶问题的关系：???

定理1的证明：

KKT条件

KKT条件：基于以上的定理1和定理2：?

有约束条件的线性最小二乘

?

1.问题的解决：?

总结

梯度优化算法无约束优化约束优化基本概念方向导数与梯度雅可比与黑赛矩阵泰勒公式一二阶梯度优化算法原问题广义拉格朗日函数?原问题的对偶问题3个定理???

Thanksforyourlistening.谢谢各位师生的聆听汇报人：赵龙