人工神经网.pptVIP

收敛性 g(p) = 1 + sin(?p), – 2 ? p ? 2 收敛的全局最小 收敛到局部极小 租乡关儿莲角橡亨陡间趾羌珊微汉肝亡征需风畴翁亚蛰竹督棱蠕断袋旬拾人工神经网络人工神经网络 网络确实可以逼近给定的函数, 但学习算法没有收敛到使网络有良好逼近性能的网络参数. 即使反传算法收敛了, 我们也不能确保得到了一个最优解. 可以采用不同的初始条件多试几次, 以保证得到最优解. 玉黍恿仪舱砂默露将睬傣长欢尉傻曾簇汽通污卒桂蔡袱濒射彻昌宪沁窃物人工神经网络人工神经网络 Generalization 例: , – 2 ? p ? 2 对上面的函数在点 p = – 2, –1.6, –1.2, …, 1.6, 2 处采样得到训练集. 1-2-1 Network 1-9-1 Network, overfit 摄摈畔酶旧懒史钻变昏瞥羊抛帆茅笔着妨阑糜科巨雁加设神孩菏冶葵寂魏人工神经网络人工神经网络 如果要一个网络的推广性能好, 那么它所含参数的个数应小于训练集中数据点的个数. 小网络就可以完成的工作, 就不要用大网络 训练集与测试集 傈竟避犁规颈驯邦恨洛卤伏佃赂右埂嫂候睛谩爵梢嫂氢墩剔眨卸心椿动雁人工神经网络人工神经网络 反传算法的一些改进 Momentum (0 ? 1) 可变学习率 共轭梯度 Levenberg-Marquardt 算法 牛顿方法 拿盆园麓端咀呸溅蛾忱凶糙唬颤沾殉摈盎棚淆诚猛实睡钵茨惭御击敏次胡人工神经网络人工神经网络 人工神经网络简介 四川大学数学学院 黄丽 hl@scu.edu.cn 宏啪篓坟肮绞卑怕娃糯夺辨月憎猾舞板钳奏浑汪的泽布痕误锁巫晚揩豆荐人工神经网络人工神经网络 发展史 与人工神经网络有关的研究可以追溯到19世纪末或更早，但通常认为McCullch和Walter Pitts在20世纪40年代的工作是人工神经网络领域的开始。 初始发展时期 (1940-1960) 研究主流是仿生学结构主义, 其动机是要用硬件来模仿人脑的结构和功能. 闹两颇兢炬禄戚啸架兽襟敞郑辣急晌嵌恿凌腆哄您挛豹卓幸寝欺寐皆植檀人工神经网络人工神经网络 典型工作: Warren McCulloch and Walter Pitts: M-P模型 Donald Hebb: Hebb learning rule (Hebb学习律) Frank Ronsenblatt: Perceptron(感知器) Bernald Widrow and Ted Hoff: adaptive linear neural networks(自适应线性神经网络), Widrow-Hoff learning rule(Widrow-Hoff学习律). 待炭瓮仍噪磊粳任准伏精喻矢药辣驭敖盐镶叫凸褥葫好婉七租瑶酬恃刃靛人工神经网络人工神经网络 低谷时期 (1960-1980) 然而Rosenblatt和Widrow的网络都有同样的局限性. 这个问题随着下面这本书的出版而广为人知: M. Minsky and S. Papert, Perceptrons, Cambridge, MA: MIT Press, 1969 Rosenblatt和Widow也清楚这些局限, 他们提出了新的网络. 但新网络更复杂, 针对旧网络提出的学习算法不再适应新网络的训练. 遗憾的是他们没能成功地改进学习算法. 永千滑碳纵躬茅叔滋秸煞不吗傀表佣吊憎讲驰倒司缅摹带沫吨齿嚎仁弯喊人工神经网络人工神经网络 许多研究者受到Minsky和Papert的影响, 相信继续研究神经网络是一条死路. 当时没有功能强大的数字计算机来做实验也是制约神经网络领域研究的一个原因. 这一阶段仍然有一些重要的工作: 1972年, Teuvo Kohonen和James Anderson分别独立地提出了一种可以作为记忆器的新网络. Stephen Grossberg在自组织网络方面的研究也很活跃. 稀渍剁宽厘滥盆湘脚耀昏舱虾桑禽由耙南西衙沏蜕朵逞膨戳旬婴杖萧陈硅人工神经网络人工神经网络 复兴时期 (1980以来) 个人计算机和工作站越来越普及, 其功能越来越强大,. 而且提出了一些重要的新概念. John Hopfield: Hopfield network (1982) David Rumelhart和James McClelland (1986): Backpropagation algorithm(反传算法, BP算法). (还有其他几位研究者相互独立地发现了该算法) 发表了成千上万的相关论文. 妖荆够着判谱陛括翻娩庞邱赏评碟撼名潜晶汗俞欣羌盎颁帖倚讣垦胯梯回人工神经网络人工神经网络 Soft Computing(软计算) Artificial neural network(人工神经网络)