模式识别小论文资料.docVIP

模式识别课程小论文 论文题目： 梯度下降算法的学习 学 院： 专 业： 学 号： 姓 名： 指导教师： 二〇一二年十二月二十六日 摘要 梯度法，又名最速下降法。早的求解无约束多元函数极值的数值方法，早在1847年就已由柯西(Cauchy))提出。它是导出其他更为实用、更为有效的优化方法的理论基础。因此，梯度法是无约束优化方法中最基本的方法之一。梯度下降法，就是利用负梯度方向来决定每次迭代的新的搜索方向，使得每次迭代能使待优化的目标函数逐步减小。模式识别(Pattern Recognition)是人类的一项基本智能，在日常生活中，人们经常在进行“模式识别”。随模式识别(Pattern Recognition)是指对表征事物或现象的各种形式的(数值的、文字的和逻辑关系的)信息进行处理和分析,以对事物或现象进行描述、辨认、分类和解释的过程,是信息科学和人工智能的重要组成部分。 (k0) （1） 当时，；当时，，有极小值，所以对于已符号规范化的训练模式，应当寻求使取极小时的,因此时的满足。令，求得准则函数的梯度 （2） 为防止取极小值时出现的情况，这里令符号函数 由梯度下降法，增广权矢量的修正迭代公式为 （3） 当为常数时，