12.人工神经网络new要点分析.pptVIP

人工神经网络2009-12 主要内容 基本原理、结构 神经网络类型简介 BP算法及算例 人工神经网络研究的起源 “人脑是如何工作的” “我们能否模仿人脑的神经系统” 在寻求这些答案的研究过程中，形成了一个多学科交叉技术领域－神经网络 生物神经元形状图 神经元 神经元模型 神经元是人工神经网络的基本处理单元，它一般是一个多输入/多输出的非线性元件。神经元输出除受输入信号的影响之外，同时也受到神经元内部其他因素的影响，所以在人工神经元的建模中，常常还加有一个额外输入信号，称为偏差（bias），有时也称为阀值或门限值。 神经元结构 权值（weights) 阀值（threshold） 作用函数（activated transfer function）的基本作用 1、控制输入对输出的激活作用； 2、对输入、输出进行函数转换； 3、将可能无限域的输入变换成指定的有限范围内的输出。 几种常用的作用函数 1、阀值型（硬限制型) 2、线性型 3、S型函数（Sigmoid） 4、辐射基函数 1、阀值型（硬限制型） 2、线性型a) 全线性 b) 正线性 3、S型函数（Sigmoid）a) 对数正切 y=1/(e-n+1) b)双曲正切 y=tanh(n) 4.辐射基函数a) 高斯函数 b)三角波函数 主要内容 基本原理、结构 神经网络类型简介 BP算法及算例 人工神经网络的分类 按连接的基本形式分为 前向网络（feed-forward Networks） 回归网络（recurrent Networks） 互联网络（全互连与局部互连） 也可是以上几种形式的组合 前向网络 前向网络的特点 1. 神经元分层排列，可多层 2. 同一层间无连接 3. 方向由入到出 回归网络 回归网络特点 Output 与 Input相连（全反馈） 特点： 1. 内部前向 2. 输出反馈到输入 Inner recurrent 特点：层间元互相连接 互联网络 结构图 互联网络特点：每个元都与其它元相连 例： Hopfield Boltzmann机 主要内容 基本原理、结构 神经网络类型简介 BP算法及算例 BP网络 在人工神经网络的实际工程应用中，特别在自动控制领域中，大多数神经网络模型是采用BP网络或它的变化形式，它也是前向网络的核心部分。 BP网络模型 输入输出关系 输入层-隐含层 a 1 = tansig (IW 1,1 p 1 +b 1 ) tansig(x)=tanh(x)=(ex-e-x)/(ex+e-x) 隐含层-输出 a 2 = purelin (LW 2,1 a 1 +b 2 ) 输入层神经元个数 n 隐含层神经元个数 n1 输出层神经元个数 s2 学习（训练） 输入q组样本 p1,p2,...,pq pi∈Rn 期望输出 T1,T2,...,Tq, T ∈Rs2 网络输出 a21,a22,...,a2q a2∈Rs2 解决方法 误差最小 实质为一个优化问题 思路: 梯度法(gradient) 找出误差与加权系数的关系 得到加权系数改变的规律 MATLAB函数 首先建立一个前馈网络 net=newff(PR,[5 1],{‘tansig’ ‘purelin’},’traingd’); 计算输出： y1=sim(net,P); PR—R个输入中各样本输入数据的最小和最大值构成的R*2矩阵 绘图： plot(P,T,’*’); 训练： [net,tr]=train(net,P,T); 训练函数有很多种，如：traingd,traingdm,traingdx,trainlm 在训练之前要对网络进行初始化，并设置好训练参数。 初始化： net.iw{1,1}=W10; net.b{1}=B10; net.lw{2,1}=W20; net.b{2}=B20; 参数设置： net.trainParam.epochs=100; %最大训练次数 net.trainParam.goal=0.01; %训练所要达到的精度 net.trainParam.show=10; %在训练过程中显示的频率 net.trainParam.lr=0.1; %学习速率 例1—函数逼近 应用两层BP网络来