神经网络理论与应用(bpover).pptVIP

神经网络理论与应用 第一部分 生物神经元 第二部分 人工神经元与神经网络 常用的激活函数 人工神经网络模型 几种常见的神经网络 神经网络的学习过程 模仿人类的学习过,神经网络的学习可以分为: (1)有导师学习(有监督式学习): (2)无导师学习(无监督式学习) (3)强化学习 有导师学习 无导师学习 学习规则 Hebb规则举例 感知器规则举例 Delta学习规则 第三部分 模式前向传输 误差反向传播 输出层权值,阈值的计算 隐层权值,阈值的计算 BP网络的两种学习方式 1.串行方式(Sequential mode):也称为在线方式或随机方式. 每个样本(Example or Pattern)经过前向计算后,都要根据其误差修改权值. 2.批方式(Batch mode):当样本集中的所有样本都经过前向计算后,再根据误差进行权值修正. 每修正一次称为(Epoch) BP网络的应用举例-图形识别问题 BP算法总结 BP网络的改进方案 (3) 误差曲面与BP算法的局限性 误差函数的可调整参数的个数 nw 等于各层权值数加上阈值数，即： 误差 E 是 nw+1 维空间中一个形状极为复杂的曲面，该曲面上的每个点的“高度”对应于一个误差值，每个点的坐标向量对应着 nw 个权值，因此称这样的空间为误差的权空间。 误差曲面与BP算法的局限性 误差曲面的分布有两个特点： 特点之一：存在平坦区域 误差曲面与BP算法的局限性 特点之二：存在多个极小点 多数极小点都是局部极小，即使是全局极小往往也不是唯一的，但其特点都是误差梯度为零。 误差曲面的平坦区域会使训练次数大大增加，从而影响了收敛速度；而误差曲面的多极小点会使训练陷入局部极小，从而使训练无法收敛于给定误差。 标准BP算法的改进 标准的BP算法在应用中暴露出不少内在的缺陷： ⑴ 易形成局部极小而得不到全局最优； ⑵ 训练次数多使得学习效率低，收敛速度慢； ⑶ 隐节点的选取缺乏理论指导； ⑷ 训练时学习新样本有遗忘旧样本的趋势。 针对上述问题，国内外已提出不少有效的改进算法，下面仅介绍其中3种较常用的方法。 标准BP算法的改进 1 增加动量项 α为动量系数，一般有α∈(0，1) 2 自适应调节学习率 设一初始学习率，若经过一批次权值调整后使总误差↑，则本次调整无效，且?=β?(β1 )； 若经过一批次权值调整后使总误差↓，则本次调整有效，且?=θ? (θ1 )。 标准BP算法的改进 3 引入陡度因子 实现这一思路的具体作法是，在原转移函数中引入一个陡度因子λ BP网络设计基础 一 、训练样本集的准备 1.输入输出量的选择 输出量代表系统要实现的功能目标，例如系统的性能指标，分类问题的类别归属，或非线性函数的函数值等等。 输入量必须选择那些对输出影响大且能够检测或提取的变量，此外还要求各输入变量之间互不相关或相关性很小，这是输入量选择的两条基本原则。 BP网络设计基础 一 、训练样本集的准备 1.输入输出量的选择 从输入、输出量的性质来看，可分为两类：一类是数值变量，一类是语言变量。 数值变量的值是数值确定的连续量或离散量。 语言变量是用自然语言表示的概念，其“语言值”是用自然语言表示的事物的各种属性。当选用语言变量作为网络的输入或输出变量时，需将其语言值转换为离散的数值量。 BP网络设计基础 一 、训练样本集的准备 2. 输入量的提取与表示 (1)文字符号输入 XC=(111100111)T XI=(111100111)T XT=(111100111)T BP网络设计基础 一 、训练样本集的准备 2. 输入量的提取与表示 (2)曲线输入 p=1,2,…,P BP网络设计基础 一 、训练样本集的准备 2. 输入量的提取与表示 (3)函数自变量输入 一般有几个输入量就设几个分量，1个输入分量对应1个输入层节点。 (4)图象输入 在这类应用中，一般先根据识别的具体目的从图象中提取一些有用的特征参数，再根据这些参数对输入的贡献进行筛选，这种特征提取属于图象处理的范畴。 (1)“n中取1”表示法 “n中取1”是令输出向量的分量数等于类别数，输入样本被判为哪一类，对应的输出分量取1，其余 n-1 个分量全取0。例如，用0001、0010、0100和1000可分别表示优、良、中、差4个类别。 (2)“n-1”表示法 如果用n-1个全为0的输出向量表示某个类别，则可以节省一个输出节点。例如，用000、001、010和100也可表示优、良、中、差4个类别。