【】神经网络理论与应用.ppt

BP算法总结 1.隐层到输出层的权值和阈值校正 其中: Yj为隐层第j个神经元的输出 2.输入层到隐层的权值和阈值校正 其中: xi为输入层第i个神经元的输出 BP网络的改进方案 一、 从BP算法可以知道,隐层与输出层权值与阈值的修正均需要用到隐层的神经元输出yj,如果隐层的输出yj接近0或1都会使权值的修正不起作用,因此,为了加快收敛过程,可以限制S函数的输出: 即当: yj0.01时,可以取: yj=0.01 yj0.99时,可以取 yj=0.99 (3) (4) (5) Hebb规则举例 感知器规则举例 Delta学习规则 第三部分 模式前向传输 误差反向传播 输出层权值,阈值的计算 隐层权值,阈值的计算 BP算法的缺点 BP网络的两种学习方式 1.串行方式(Sequential mode):也称为在线方式或随机方式. 每个样本(Example or Pattern)经过前向计算后,都要根据其误差修改权值. 2.批方式(Batch mode):当样本集中的所有样本都经过前向计算后,再根据误差进行权值修正. 每修正一次称为(Epoch) BP网络的应用举例-图形识别问题 神经网络理论与应用 第一部分 生物神经元 神经元电位活动 神经元结构 突触的类型 各种神经细胞 神经元之间的联系 第二部分 人工神经元与神经网络 常用的激活函数 人工神经网络模型 (a)简单的前向神经网络 (b)具有反馈的前向神经网络 (c) 具有层内互联的神经网络 人工神经网络发展历史 几种常见的神经网络 神经网络的学习过程 模仿人类的学习过,神经网络的学习可以分为: (1)有导师学习(有监督式学习): (2)无导师学习(无监督式学习) (3)强化学习 有导师学习 无导师学习 对于无监督学习,由于没有现成的信息作为响应用的校正,学习是靠对信息的观察来实现的。这种学习常用于输入模式的分类上。 学习规则 权值修正的一般表达式