神经网络设计考试要点总结.docVIP

神经网络的定义：由大量与自然神经系统的神经细胞类似的人工神经元互联而成的网络。分类：前向网络、反馈网络，静态网络、动态网络，连续时间网络、离散时间网络，阵列网络、非阵列网络。 如何选择一种网络结构：1、应用问题的输入数=网络的输入个数2、输出层神经元的数目=应用问题的输出数3、输出层的传输函数选择至少部分依赖于应用问题的输出描述。 神经网络优点：非线性特征，并行分布处理方式，便于硬件实现，自学习和自适应能力，数据融合的能力，多变量系统。 写出两种神经网络传输函数 a = hard lim(n)硬极限传输函数 a =hard lims(n) 对称硬极限函数 a =purelin(n) 线性传输函数 a = poslin(n) 正线性 a =satlin(n) 饱和线性 a =satlins(n) a =logsig(n) a = 1/1+e-n a =tansig(n) a = en-e-n/en+e-n 单层感知机学习方法收敛的条件：a、问题的解存在（即满足X*TZ`(i)δ）；b、仅在输入向量被错误分类时才改变的权值；c、输入向量长度的上界存在π=max{||Z`（i）||2} 监督学习算法w(k+1)=w(k)+2αe(k)pT(k)的物理定义：该算法在每输入一个训练值的情况下就更新权值，他能调整权值知道使均方误差达到最小。他尽力使判定边界远离训练（参考）模式，从而减小网络受噪声的影响。 误差后向传播算法存在的主要问题及其改进措施： 主要问题：训练太慢，训练时间长，多层非线性网络的均方误差性能指数不是一个标准二次函数，他可能存在多个局部极小值，并且在参数空间内的曲率也不一样； 改进措施：使用启发式信息技术： (1)、动量方法（MOBP） 特征：1）维持算法稳定的前提下使用更高的学习速度；2）当轨迹进入某个一致方向后，加速收敛； (2)、VLBP：a、如果一次权值改变后（在整个训练集上）均方误差的递增超过某个百分数ε(典型值为1%—5%)，则权值改变被取消，学习速度乘以一个小于1的因子ρ，动量系数γ设为0；b、如果权值改变后的平方误差递减，则接受权值更新，学习速度乘以大于1的因子η，如果γ过去设置为0，则恢复到原来的值；c、如果平方误差递增不超过ε，则接受权值更新，学习速度和动量系数不变。 数值优化技术：共轭梯度法(CGBP)它不需要计算二次导数，但是仍具有二次收敛的特性，它通过区间定位和区间缩小来确定函数在某个特定方向的权值。 Levenberg-Marquardt算法(LMBP): J(x)是一阶偏导矩阵 批处理：在整个训练集都提及网络后才提及系数，平均每个样本计算出的梯度以得到更精确的梯度值，如果训练集是完全的，即覆盖了所有可能的输入/输出时，则梯度估计是精确的。 Kohonen规则：iW(q)=iW(q-1)+α(P(q)-iW(q-1)),i∈X(q) 类似于instar规则，kohonen规则允许神经元的权值学习输入向量，因此适用于识别和应用，与instar规则不同的是学习并不正比于神经元输出ai(q),他的学习发声在神经元的下标i是集合X(q)的元素时，如果instar规则应用于返回值为0或1的传输函数（如硬极限函数）的一层神经元时，kohonen规则可以通过将X(q)定义为满足ai(q)=1d的所有i的集合，从而与instar规则等价。 Outstar规则：instar网络（有一个向量输入一个标量输出）可以利用特定向量刺激与响应相联想起来实现模式识别。Outstar网有一个标量输入和一个向量输出，他可以利用一个刺激和向量响应之间的联想完成模式回忆。Wj(q)=Wj(q-1)+α(a(q)-Wj(q-1))Pj(q),这里Wj是矩阵W的第j列。 a = satlims(WP) 单层感知机的缺点及其原因（思考题） 答：单层感知机只能识别线性可分的模式（即能够用一个线性边界区分），因为单层感知机存在一个线性边界wp+b=0，单层感知机只能对那些能够被线性边界分开的输入向量进行分类，对噪声敏感，因为训练模式常接近网络的判定边界。 多层前向神经网络模型、算法、应用（论述） LMS算法和BP算法都是使均方误差最小化的最速下降法，唯一区别是梯度的计算方法不同，对多层网络而言，为了计算均方误差对隐层权值和偏置值得导数，BP算法使用了链法则，首先计算最后一层的导数，然后反向传播通过网络并用链法则计算隐层中得导数，算法也因此被称为反向传播算法。 BP算法的主要问题是：训练时间长，收敛速度慢，存在多个局部极小点，要选择多个不同的初始值以确保算法收敛到全局极小点。 监督学习算法的特点：在监督学习中，学习规则由一组描述网络行为的训练集给出{p1,t1}···{pq,tq},pq表示网络输入，tq表示网络的目标输