有监督和BP神经网络.pptVIP

引言 神经网络系统的内容 前向神经网络模型 动态神经网络模型;第一节 引言;人工神经网络的其它应用领域：; 是模仿脑细胞和脑神经结构及其思维和处理问题的功能而抽 象出来的一种多层网络形式的信息处理系统。;树突;神经元模型 ;2、基本原理 ;将输入模式分布记忆在网络的各个连接权值上。当网络再次遇到其中任何一个模式时，就能够作出迅速准确的判断和识别。;生物神经网络与计算机信息处理系统比较;3、人工神经网络的特点;神经元模型、激活函数、网络结构、网络学习算法。 ;●简化模型; For each node i, the output activation function is defined as follows;二、激活函数类型; 2）分段线性型（饱和型）;用Sigmoid 函数的好处是对其求导较容易 ;X1;2、反馈网络 只在输出层到输入层存在反馈，（即每一个输入节点都有可能接受来自外部的输入和来自输出神经元的反馈。;4、混合型网络 是a型网络和c网络的结合。;●按学习的方法神经元网络可分成二类： ; 竞争型Kohonen网络 Hopfield网络 双向联想存贮器（BAM） Boltzman机;采用不同的插值 计算可产生不同 的曲线，无法判 断哪一条曲线更 符合实际？;第二节 前向神经网络模型;感知器的最大作用就是可以对输入的样本进行分类（classifier） 可以用于实现逻辑函数。 ;Example 2： XOR is not a linearly separable function. ;二、单层神经网络结构; 三、多层神经网络结构;input layer;式中， f 为输出层神经元的变换函数。 ;问题：;为逼近某个已知的非线性函数或已知输入输出关系的对象， 对网络加权系数和阈值采取的调整策略。;xp1;性能指标:;如在P2处，;隐层节点j输出和输入节点i的关系：; 定义：;代入 ;最后得到二个权值改变的重要公式：; 给定P组样本 ， 为 维输入矢量， 为 维期望的输出矢量，i=1,2,…,P。 设矢量y和o分别表示网络的输出层和隐含层的输出矢量，则训练过程为 ; 按下式计算出各输出层神经元的输出; 5）调整权阵系数;重要结论; a）权系数的初值 一般权系数初始化为小的随机值，尽量覆 盖整个权阵的空间域。 b）学习方式 上面为增量型学习方法，也可采用积累型学习。 c）变换函数 对训练有较大影响。 d）学习速率 一般学习速率越大，收敛越快，但易振荡； 越小， 收敛越慢。;讨论; 设期望输入为 ，期望输出为 网络权系数初值如图上，用BP算法训练此网络。 取神经网络激励函数 ，学习步长取为 ; 3）判断神经网络逼近误差满足要求或迭代学习达到最大容许值？; 5）连接权系数更新;五、BP网络学习算法的改进