第6章 多层神经网络 - 中山大学.pptVIP

第六章 多层神经网络 6.1　引 言 神经网络定义 一个神经网络是一个由简单处理元构成的规模宏大的并行分布式处理器。天然具有存储经验知识和使之可用的特性。 神经网络与人脑的相似性： a .神经网络获取的知识是从外界环境中学习得来。 b .互连神经元的连接强度，即突触权值，用于存储获取的知识。 神经元模型 　a. 突触权值 　　　b .加法器—净激活 　　　c. 激活函数 6.2　前馈运算和分类 前馈运算定义： 　a.无反馈，可用一有向无环图表示。 　b.图的节点分为两类，即输入节点与计算单元。 　c.每个计算单元可有任意个输入，但只有一个输出，而输出可耦合到任意多个其他节点的输入。前馈网络通常分为不同的层，第i层的输入只与第i-1层的输出相联。 　d.输入和输出节点由于可与外界相连，直接受环境影响，称为可见层，而其他的中间层则称为隐层。如图。 符号函数： 6.2.1 一般的前馈运算 显然，我们可以把之前的讨论推广为更多的更多的输入单元、其他的非线性函数、任意多个输出单元。在分类方面，我们有c个输出单元，每个类别一个，每个输出单元产生的信号就是判别式函数gk(x). 判别函数如下： 6.3　反向传播算法 误差反向传播学习分为四个过程: a.模式顺传播：一个输入向量作用于网络感知节点，它的影响经过网络一层接一层的传播。最后，产生一个输出作为网络的实际响应。在前向通过中，网络的突触权为固定的。 b.误差逆传播：在反向通过中，突触权值全部根据误差修正规则调整。 c.记忆训练：反复学习过程，也就是根据教师示教的希望输出与网络实际输出的误差调整连接权的过程。 d.学习收敛：网络全局误差收敛于极小值的过程。 误差传播阶段 （1）计算训练误差： （2）按与LMS算法类似的方式对突触权值w应用一个修正值 　隐含层到输出层学习规则： 　输入层到隐含层学习规则： 6.3.3　BP网络——学习曲线 6.4　误差曲面 较大型的网络： 　　　高维空间里局部极小值问题有所不同：在学习中，高维空间可以给系统提供更多的方式（维数、或自由度）以“避开”障碍或局部极小值。权值数越过剩，网络越不可能陷入局部极小值。但存在过拟和问题。 6.5　反向传播作为特征映射 隐含层到输出层是一个线性判别函数，多层神经网络所提供的新的计算能力可以归因于输入层到隐含层单元上的表示的非线性弯曲能力。 随着学习的进行，输入层到隐含层的权值在数量上增加，隐含层单元的非线性弯曲扭曲了从输入层到隐含层单元的空间映射。 6.6　反向传播、贝叶斯理论及概率 贝叶斯理论与神经网络 尽管多层神经网显得有点专门化，我们可以证明，当采用均方差准则进行反向传播训练，且样本数量趋于无穷极限时，多层神经网可产生一个相应于贝叶斯理论判别函数的最小二乘判别。 作为概率的输出 实际生活时常不满足无限个训练数据，这时可以作概率逼近。其中一个方法是softmax方法，即选择指数型的办理出单元非线性函数，并对每种模式将输出和归一化为1.0,并用0-1目标信号进行训练： 6.7　相关统计技术 投影寻踪回归： 广义叠加模型： 多元自适应回归样条（MARS）： 6.8　改进反向传播的一些实用技术 激活函数 　　　BP网络中每一个神经元的 需要关于神经元的激活函数 　的导数知识。要导数存在，则需要函数 连续。 　　　常用的例子为sigmoid函数，主要有两种形式： 　1. logistic函数 　2. 双曲正切函数 冲量项 　　　　 实验表明：增加隐含层的层数和隐含层神经元个数不一定总能够提高网络精度和表达能力。 　　　　 BP网一般都选用三层网络。 权值初始化 a.初始权值的选择对于局部极小点的防止和网络收敛速度的提高均有一定程度的影响，如果初始权值范围选择不当，学习过程一开始就可能进入“假饱和”现象，甚至进入局部极小点，网络根本不收敛。 b.在前馈多层神经网络的BP算法中，初始权、阈值一般是在一个固定范围内按均匀分布随机产生的。一般文献认为初始权值范围为-1～＋1之间，初始权、阈值的选择因具体的网络结构模式和训练样本不同而有所差别，一般应视实际情况而定。 c.本书中考虑有d个输入单元，假设用相同的分布初始化权值，那么输入权值的范围为： d.隐含层输出权值： 学习率 　　　　学习率参数 　越小，从一次迭代到下一次迭代的网络突触权值的变化量就越小，轨迹在权值空间就越光滑。然而，这种改进是以减慢学习速度为代价的。另一方面，如果我们让 的值太大以加速学习速度