17 第6章 神经网络 part3.ppt

神经网络 刘芳，戚玉涛 qi_yutao@163.com BP网络和BP算法 线性不可分问题：感知器模型的局限 三层感知器 多层网络的表达能力 BP网络：多层感知器 BP算法：反向传播算法的思想和流程， 训练协议，隐含层的作用，实用技术 反向传播算法（BP算法） 敏感度的反向传播 反向传播算法（BP算法） BP算法流程： Step1：选定权系数初值 Step2：重复下述过程直至收敛 (对各个样本依次计算) Step2.1 前馈: 从前向后各层计算各单元 反向传播算法（BP算法） Step2.2 :对输出层计算 Step2.3 :从后向前计算各隐层 Step2.4 :计算并保存各个权值修正量 反向传播算法（BP算法） Step2.5:修正权值 BP算法的训练协议 训练协议(学习协议)：神经网络训练过程中如何根据训练样本调整权值 三种最有用的训练协议： 随机训练( stochastic training ) :模式随机从训练集中选取，每输入一个模式，权值就更新一次 成批训练( batch training ) :所有模式一次全部送入网络，然后才进行一次权值更新 在线训练( online training ) : 每种模式只提供一次，每提供一种模式，权值更新一次 BP算法的训练协议 随机反向传播 BP算法的训练协议 成批反向传播 BP算法的训练协议 在线反向传播 隐含层的作用 隐含层的作用：学习到一组非线性映射，将样本映射到线性可分的空间 非线性弯曲能力，本质上是一种非线性的特征映射 异或问题的例子： 隐含层的作用 隐含层的非线性弯曲能力 BP算法的优缺点 优点： 理论基础牢固 推导过程严谨 物理概念清晰 通用性好 所以，它是目前用来训练多层前向网络（BP网络）较好的算法。 BP算法的优缺点 缺点： BP算法只能收敛于局部最优解，不能保证收敛于全局最优解； 当隐层元的数量足够多时，网络对训练样本的识别率很高，但对测试样本的识别率有可能很差，即网络的推广能力有可能较差。 BP算法的实用技术 输出函数（激活函数） 输入信号尺度变换 c类问题的目标输出 带噪声的训练法 人工“制造”数据 BP算法的实用技术 输出函数（激活函数）应具备的性质 非线性：非线性特征映射，否则三层网络将等同于两层网络的计算能力 饱和性：存在最大和最小值，即输出有上下界 连续性：在整个自变量范围内都有定义 光滑性：在整个自变量范围内一阶导数存在 最好有单调性：导数在自变量范围内不变号，避免引入不必要的局部极值 Sigmoid函数满足上述性质，因此被广泛采用 BP算法的实用技术 输入信号尺度变换 鱼分类的例子：x1 :质量 x2:长度 x1 = 1500克， x2=0.3米，则网络权值的调整主要由x1 控制 x1 = 1.5千克， x2=300毫米，则网络权值的调整主要由x2控制 解决方案：输入特征尺度变换，使得 每个特征在整个训练集上的均值为零 每个特征的方差相同，如都为1.0 BP算法的实用技术 c类问题的目标输出 Sigmoid函数的饱和值±1.716永远不可能达到，存在误差 c类问题的判决准则：如果样本x属于第i类，则第i个输出单元的目标输出为 +1，其他输出单元为-1 例如：四类情况，x属于第3类 ，目标输出则为 （ -1，-1, +1，-1 ） BP算法的实用技术 带噪声的训练法 当训练集很小时，可以构造一个虚拟的或替代的训练模式来使用（建立概率模型），就好像它们是从源分布中抽样出来的正常的训练模式 在没有具体特定信息时，一个自然的假设就是此代替模式应该加入一个d维噪声，以获得真实的训练点 这种有噪声的训练方法实际上可用于任一分类方法，尽管对于高度局部化的分类器（如最近邻分类器）它通常并不改善准确率 BP算法的实用技术 人工“制造”数据 在训练模式不足的情况下，有时可以人工制造一些训练 样本 需要利用问题的先验知识，如某种“几何不变性”，制造出一些能传达更多信息的训练样本 数据变换：例如字符识别问题中 旋转 缩放 字符笔画宽窄变化 BP算法的实用技术 隐单元数：隐单元个数决定了网络的表达能力，从而决定了判决边界的复杂度 简单问题需要较少的隐单元 复杂问题需要较多隐单元 过少隐单元造成神经网络表示能力下降 过多隐单元造成对训练集的“过拟合” 经验规则 选取隐单元个数，使得网络中总的权值数大致为样本数的1/10 BP算法的实用技术 权值初始化 BP算法的实用技术 学习率：不同学习率的收敛效果 Sigmoid网络的学习率：初始化学习率约为0.1；如果发散，则调小学习率；如果学习速度过慢，则调大学习率。 BP算法的实用技术 冲量项（momentum） 问题：