神经网络考试.doc

习题1： 神经网络典型结构（单层神经网络）： 其中P为输入矢量，通过权矩阵W与每个输出神经元相连；每个神经元通过一个求和符号，在与输入矢量进行加权求和运算后，形成激活函数的输入矢量，并经过激活函数作用后得到输出矢量A。 神经网络常用的作用函数为（三种）： 阀值型： 这种激活函数将任意转化为0或1的的输出，函数f（?）为单位阶跃函数，如图所示。具有此函数的神经元的输入/输出关系为： 线性型： 线性激活函数使网络的输出等于加权输入和加上偏差，如图所示。此函数的输入/输出关系为： S型（sigmoid 型） S型激活函数将任意输入值压缩到（0，1）的范围内，如图1.7所示。此种激活函数常用对数或双曲正切等一类S形状的曲线来表示，如对数S型激活函数关系为： 而双曲正切Ｓ型曲线输入/输出函数关系为： 常用的神经网络的学习算法有： Hebb学习算法 梯度下降法 δ规则 BP算法 竞争式学习算法 常用的神经网络有如下几种： 感知器网络，其作用一般为对于线性可分问题的简单分类。 线性神经网络，由于该网络采用线性作用函数，可以处理连续输入模式。网络可用于模式联想和函数的线性逼近，线性系统的建模和滤波等。 BP网络，其作用为：函数逼近，模式识别，分类，数据压缩 Hopfield网络，其作用为：通过无教师的学习，是网络状态进过演变最终收敛到某一稳定状态，从而实现联想记忆或优化计算的功能。 人工神经网络的生物学背景： 人们正是通过对人脑神经系统的初步认识，尝试构造出人工神经元以组成人工神经网络系统来对人的智能，甚至是思维行为进行研究；尝试从理性角度阐明大脑的高级机能。经过几十年的努力与发展，已涌现出上百种人工神经网络模型。它们的网络结构、性能、算法及应用领域各异，但均是根据生物学事实衍生出来的。由于基本处理单元是对生物神经元的近似仿真，因而被称之为人工神经元。它用于仿效生物神经细胞最基本的特性，与生物原型相对应。人工神经元的主要结构单元是信号的输入、综合处理和输出，其输出信号的强度大小反映了该单元对相邻单元影响的强弱。人工神经元之间通过互相连接形成网络，称为人工神经网络。神经元之间相互连接的方式称为连接模式，相互之间的连接度由连接权值体现。在人工神经网络中，改变信息处理过程及其能力，就是修改网络权值的过程。 习题2： 线性神经网络的拓扑结构：（如下图） 线性神经元模型的I/O关系a=purelin(W*P+b) 其基本学习算法为：W-H学习算法（描述如下） 算法的收敛性条件： 该系统是一个非线性系统，线性神经网络无法获得精确解。但是即使无法获得精确解，只要学习速率足够小，线性神经网络仍然能够将输出的均方误差最小化。这种网络结构能够找到输入与输出之间最佳的近似线性逼近，具有这种性质是因为线性网络的误差曲面是一个抛物面，因为抛物面总是只有一个最小值的，因此利用最大梯度算法总能够得到最小值解。 程序：（非改进算法） P = [1.0, 2.0, 3.0, -1.2]; T = [0.5, 1.05, 1.48 -0.59]; w_range = -2:0.4:2; b_range = -2:0.4:2; ES = errsurf(P,T,w_range,b_range,purelin); plotes(w_range,b_range,ES); 以上程序得到误差曲面：（如下图） 紧接着进行网络学习： maxlr=maxlinlr(P,bias); //学习速率设置 net=newlin([-2 2],1,[0],maxlr); //进行网络训练 得到的误差虽迭代次数的变化曲线如下： 可以看到训练大致155次时，误差达到最小值。精度达到了10-3。 最后通过仿真可以看到，网络经过学习之后的效果： 与原始目标输出相比，可见学习想过还是相当不错的，基本能够达到目标要求。 对于改进后的学习算法： 习题3： BP算法的基本原理如下所示： BP算法是由两部分组成：信息的正向传递与误差的反向传播。在正向传播过程中，输入信息从输入经隐含层计算传向输出层，每一层神经元的状态只影响下一层神经元的状态。如果在输出层没有得到期望的输出，则计算输出层的误差变化值，然后转向反向传播，通过网络将误差信号演员来的连接通路反传回来修改各层神经元的权值直至达到期望目标。 BP网络的优缺点： BP网络的优点主要是针对感知器和线性神经网络而言的；感知器由于采用的是硬限幅函数作为作用函数，因此只能解决简单的分类问题。且硬限幅函数的不可微分特性，使其扩展到多层感知器时带来权值修正的困难。Adaline网络采用线性作用函数，处理复杂非线性问题的能力相对较弱。采用线性作用函数的多层网络等效为一个简单线性网络。因此，简单地从结构上扩展Adaline并不能加强它处理非线性问题的能力。