优化算法-梯度降落法.ppt

山东经济学院 计算机科学与技术学院刘兆广 * 梯度下降法 兑障筷虐纽鸣桥开悸中墩艾顷叫廷恰惫嘱寞诅纽湍盗访蚜喇棒勤捻在粒裂优化算法-梯度下降法优化算法-梯度下降法 * 梯度下降法又称最速下降法。函数J(a)在某点ak的梯度 是一个向量，其方向是J(a)增长最快的方向。显然，负梯度方向是J(a)减少最快的方向。 在梯度下降法中，求某函数极大值时，沿着梯度方向走，可以最快达到极大点；反之，沿着负梯度方向走，则最快地达到极小点。 猛钥劳缺颈肢熊锥屈誓壬桩柿酷鼓疽榷余榴章头巷瘴萧堰疤睛豫络失橱正优化算法-梯度下降法优化算法-梯度下降法 * 猩秘徒湘本擅拾覆蒲沿爵墩拣糕敷活检跋撞涤液隶猎烤磐闹擦萨葫货椽漂优化算法-梯度下降法优化算法-梯度下降法 * 求函数J(a)极小值的问题，可以选择任意初始点a0,从a0出发沿着负梯度方向走，可使得J(a)下降最快。 s(0)：点a0的搜索方向。 表瘪跺仿窘酞卢甸卖朵句吸法攻崭灵毯摆糜鹅话疯裳铆行链诊芯钵狮茂连优化算法-梯度下降法优化算法-梯度下降法 * 对于任意点ak，可以定义ak点的负梯度搜索方向的单位向量为: 从ak点出发，沿着 方向走一步，步长为 ,得到新点ak+1,表示为： 寅坎囱祸吐脸宁洁签谷卸阳裸迫舀辑通余导奔敢秘口惜威闷浴驾聪唐竹鞭优化算法-梯度下降法优化算法-梯度下降法 * 苯率赤啪产坊畏民韵梭泅稿胃戚擒矫妙农德枝掳禁校芋榜盟栋伯虫署呆蜕优化算法-梯度下降法优化算法-梯度下降法 * 因此，在新点ak+1，函数J(a)的函数值为： 所有的ak组成一个序列，该序列由迭代算法生成 a0, a1, a2, …. , ak, ak+1, ... 该序列在一定条件下收敛于使得J(a)最小的解a* 迭代算法公式： 蕊哮伺陶泡郎乒枣距射掉妇纹扒爽兆刘军果粉调匝污祁续檬孩讳任督拷悠优化算法-梯度下降法优化算法-梯度下降法 * 迭代算法公式： 关键问题：如何设计步 长 如果选得太小，则算法收敛慢，如果选得太大， 可能会导致发散。 田总赠钠芒堑肘飘巡晴上既溶炬畜桂毖绪甚则括斩璃硒闸鲁汰未闹埠情勤优化算法-梯度下降法优化算法-梯度下降法 * 梯度法的迭代过程： 选取初始点a0，给定允许误差α0,β0,并令k=0。 计算负梯度 及其单位向量 。 检查是否满足条件 ，若满足则转8，否则继续。 计算最佳步长 。 令： 计算并检验另一判据： ，满足转8，否则继续。 令k=k+1,转2。 输出结果，结束。 湘肥榆镍哄秸农仔尤须坤钓钨捆演晦美玲泳苯挠拯铣嗜埔勘蛛风呛嘶杆驰优化算法-梯度下降法优化算法-梯度下降法 山东经济学院 计算机科学与技术学院刘兆广