第10章 Windrow-Hoff学习算法09.10.2课件.ppt

第10章 Widrow-Hoff学习算法;在1960年，Widrow和他的研究生Marcian Hoff引入了ADALINE (Adaptive Linear Neuron，自适应线性神经元)网络和一个称为LMS(Least Mean Square，最小均方)算法的学习规则。 他们的ADALINE网络与感知机非常相似，不同之处在于它的传输函数是线性函数而不是硬极限函数。 ADALINE和感知机均受同样的局限性的影响；它们只能解决线性可分问题。但LMS算法比感知机学习规则要强大得多。 感知机规则能保证将训练模式收敛到一个可正确分类的解上，但得到的网络对噪声敏感，因为训练模式常接近网络的判定边界。 而LMS算法使均方误差最小化，从而使网络的判定边界尽量远离训练模式。;ADALINE网络如图10-1，与第4章的感知机相同的基本结构。不同点是它使用一个线性传输函数。与线性联想器相比多了偏置值。 网络输出由下式给出：;学习规则将使用一个正确的行为样本的集合：;10.2.2 均方误差→相???矩阵;10.2.2 均方误差→最速下降法(9.2.1);10.2.2 均方误差→学习速度(9.2.1);10.2.3 LMS 算法;果廓或首澄陛森路姓涅委啃扇石它兰柜环谎别凤怎采菩累尸扭围趋埋秆营第10章 Windrow-Hoff学习算法09.10.2课件第10章 Windrow-Hoff学习算法09.10.2课件;10.2.3 LMS 算法;学习速度举例;学习速度举例;学习速度举例;ADALINE网络与感知机非常相似，不同之处在于它的传输函数是线性函数而不是硬极限函数。 ADALINE只能解决线性可分问题。 感知机规则能保证将训练模式收敛到一个可正确分类的解上，但得到的网络对噪声敏感，因为训练模式常接近网络的判定边界。 而LMS算法使均方误差最小化，从而使网络的判定边界尽量远离训练模式。;10.3 小结;10.2.2 均方误差→最速下降法(9.2.1);10.2.3 LMS 算法; P=[1 1;1 2;2 -1;2 0;-1 2;-2 1;-1 -1;-2 -2] T=[-1 -1;-1 -1;-1 1;-1 1;1 -1;1 -1;1 1;1 1] net = newlind(P,T); net.IW net.IW{1,1,1,1} net.b{1,1};1、写出LMS（最小均方）算法的矩阵迭代公式与第i个神经元的迭 代公式（对所写的公式中的符号要说明其意义）。 2、说明稳定学习速度有何要求（对所写的符号要说明其意义） 3、提交实验五的实验报告。（见实验指导）