优化算法和梯度下降法.ppt

12 局部优化算法之一：梯度下降法 李金屏 济南大学信息科学与工程学院 2006年9月 优化算法和运筹学 优化算法 许多实际问题利用数学建模的方法得到下面常规的优化形式： min f(x)，s.t. g(x) ≥0, x∈D. 其中，x是一个n维矢量，D是问题的定义域，F可行域。 关于f(x)： 当x=(x)时，f(x)是一条曲线； 当x=(x1, x2)时，f(x1, x2)是一个曲面； 当x=(x1, x2, x3)时，f(x1, x2, x3)是一个体密度（或类位势函数）； 当x=(x1, x2, …, xn)时，f(x1, x2, …, xn)是一个超曲面。 优化算法和运筹学 曲面，自然有许多极大值和极小值，必然各有一个全局最大值和全局最小值。 超曲面，与上相同。 有些算法，只能在自己的小范围内搜索极大值或极小值。这些算法称为局部优化算法，常称为经典优化算法。 另有些算法，可以在整个超曲面取值范围内搜索最大值或最小值。这些算法称为全局性优化算法，又称为现代优化算法。 优化算法和运筹学 局部优化算法之一：梯度下降法 见右图。局部极小值是C点（x0）。 梯度，即导数，但是有方向，是一个矢量。曲线情况下，表达式为 局部优化算法之一：梯度下降法 一般情况下分析： y=f (x1, x2, …, xn) 假设只有一个极小点。初始给定参数为 （x10, x20,