神经网络-第三章.pptVIP

神经网络原理 3. 自适应线性元件 由Widrow和Hoff提出，主要用于线性逼近一个函数式，因而能用于模式联想、信号处理滤波、预测、模型识别和控制等。 线性激活函数,可以输出任意值 比感知器具有更快的收敛速度和精度 W-H学习规则(LMS) 3.1 自适应线形神经元模型和结构 网络结构 Adaline：一个自适应线性神经元模型 3.1 自适应线形神经元模型和结构 Madline：两个以上自适应神经元组成的单层网络 3.1 自适应线形神经元模型和结构 主要特点： 神经元的激活函数为线性函数：ai=f(ni)=ni 注意： 多层线性网络与单层线性网络的映射能力相同 MALAB构造函数: newlin() newlind() 3.2 W-H学习规则 W-H学习规则(δ规则, LMS算法)： 由Widrow和Hoff提出的修正权矢量的学习规则。 误差函数: E(W,B)=1/2SUM[T-A]2=1/2SUM[T-WP-B]2 考虑多组输入输出对 3.2 W-H学习规则 修正值: 复习: 梯度下降法(最速下降法) MATLAB工具函数: maxlinlr() learnwh() purelin() 3.3 网络训练 网络的训练过程： 初始化：输入矢量样本和其期望的目标输出，学习率和目标（期望）误差，参数如权值和偏差的初始化，最大循环迭代次数； 表达式：计算网络的输出矢量； 检查或比较：进行循环计算，不断比较网络的输出误差的平方和与期望误差相比较；若小于期望误差或达到最大迭代次数，训练结束；否则进入下一步。 学习：参数调整， 3.4 例题与分析 例3.2 模式联想：设输入和目标输出为 ▲ 共16个线性方程，有准确解。但利用其他方法麻烦。 ▲ 实际中，只需要找到一定精度的近似解。 ▲ 结论：利用自适应网络在一定精度下快速逼近线性映射。 3.4 例题与分析 例3.3 设计训练一个线性网络实现下列输入到输出的变换： P=[1 2 3;4 5 6], T=[0.5 1 -1]。 ▲ 演示线性相关出现的情况。本例中系数矩阵为奇异的。 ▲ newlind.m对奇异矩阵效果一般；对非线性问题，给出最小均方解，但效果不太理想。 ▲ 本例中利用newlin.m计算，误差较newlind.m小。 3.4 例题与分析 例3.4 在例3.1的输入/输出中增加两组元素，为 P=[10 1.5 3.0 -1.2], T=[0.5 1.1 3.0 -1.0]。 ▲ 本例检验自适应网络的线性逼近能力。 ▲ 方程数大于未知数个数，无准确解。 ▲ 结论：本例用自适应线性网络解决不太适合。 例3.5 查看学习率与训练收敛及收敛速度的关系 3.5 对比与分析 感知器与自适应网络的对比： 网络模型结构： 激活函数不同，取值范围不同。 学习算法 算法不同，完成功能有差异。 适用性与局限性 感知器可完成线性可分问题。是否线性可分，事先不知道。 自适应网络除线性分类外，可进行线性逼近。对一些问题训练速度太慢。 3.6 单步延迟线及其自适应滤波的实现 自适应滤波是字适应网络的主要应用领域之一，常用于数字信号处理领域中。 3.6 单步延迟线及其自适应滤波的实现 网络结构 3.6 单步延迟线及其自适应滤波的实现 自适应线性滤波器的网络输入/输出关系： 3.6 单步延迟线及其自适应滤波的实现 两种设计方式： 1) 通过输入P来设计Pd，再按无时延方式来设计网络； 2)首先确定自适应网络newlin.m函数中的延时参数N，然后给定时延量的赋值： net=newlin(minmax(P),S); net.inputWeights{1,1}.delays=[0,1,2,…,N-1]; 3.6 单步延迟线及其自适应滤波的实现 例3.6 假定一个输入按输入顺序排列，其数值分别为3，4，5和6。该输入量自身产生两次延时，其延时量的初始输入值分别为1和2。用一个自适应线性网络对其滤波所获得的权矩阵为[7 8 9]。试计算在给定的输入值下该网络的输出值。 3.7 自适应线性网络的应用 1.线性化建模 ▲