用导数优化方法.pptVIP

* * * * * * * * * * 2011年12月1日 大连海事大学 任 光 基于导数的优化算法 优化:永恒的主题 杜丽应用系统与优化的理论拿到金牌 永恒的主题 没有选择就没有繁荣 人生就是选择(Life is choice),有选择就有优化 第二部分 优化 一、基本概念 人类的发展过程就是优化过程 学习和 工作过程也是优化过程 按优化问题分有两大类 组合优化 函数优化 按优化方法分为 基于性能指标的导数 不用性能指标的导数 二、问题 Q(w): Rn?R 二次可微函数 求：使Q(w)取得极小值的w*。 Q w W* 迭代方法（数值法） 最速下降法 Q(w)---可以看作神经网络的性能指标 w---为网络连接权 函数f(x)在x=x0处有任意阶导数，则f(x)在x=x0处可展开成Taylor级数 多变量Q(w+△w)对△w求导，简记为Q(w)，以3维空间为例 Q`(w)为Q(w)变化的最大方向，长度就是变化的最大值 三、基础知识 这个算子称为Hamilton 算子，这个矩阵称为Hessian 阵 同理可推广到n维空间 对Q(w)的二阶导数为 四、解法 已知初值 w 和 Q(w) 寻求△w 使得Q(w+△w)Q(w) 解题思想 从w开始，向前走一步w+△w， 结果使得Q(w+△w)值降低 Q w W* 利用Taylor级数展开，取Q(w+△w)的近似值