神经网络实用教程 教学课件 作者 张良均 曹晶 2.3 线性神经网络模型与学习算法.pptVIP

2.3 线性神经网络 2.3.1 线性神经元网络模型 线性神经元模型 它与感知器的主要不同之处在于其神经元有一个线性激活函数，这允许输出可以是任意值，而不仅仅只是像感知器中那样只能取0或1。 2.3.1 线性神经元网络模型 线性神经元激活函数 2.3.1 线性神经元网络模型 线性神经元网络分类图示 双输入 输出如下式所示 2.3.1 线性神经元网络模型 线性神经网络的结构 2.3.2 线性神经网络的学习算法 Widrow-Hoff学习规则 又称为最小均方误差LMS （Least Mean Square Error） 学习算法， 由Widrow-Hoff提出， 属于有导师学习算法 LMS学习规则定义如下: 目标 是通过调节权值，使mse从误差空间的某点开始，沿着mse的斜面向下滑行,最终使mse达到最小值。 2.3.2 线性神经网络的学习算法 算法实现步骤 第一步:初始化 给各个连接赋一个较小的随机值 第二步：输入一个样本，计算连接权值的调整量 2.3.2 线性神经网络的学习算法 其中 表示第 次循环中的第个输入向量。则有： 第三步：调整连接权值 根据负梯度下降的原则，网络权值和阈值修正公式如下 式中 为学习率,当其取较大值时，可以加快网络的训练速度，但是如果其值太大，会导致网络稳定性的降低和训练误差的增加。所以，为了保证网络进行稳