机械故障诊断学第7章PPT课件.pptVIP

感知器学习算法： Hebb规则算法 适用于符号单元： 适用于符号或阈值单元： ??（0，1）称为学习系数（率），用于控制权重修正速度。 算法步骤： 缺陷： 本质上不可能对隐层单元权重进行调节，因为隐单元的期望输出未知，因而不能应用于多层网络的学习 对非线性可分问题，算法不收敛 ?规则算法 考虑线性激活函数情形。定义输出误差测度函数（目标函数、耗费函数）为 学习的目的是通过调节权重W使得上述误差函数越小越好。 根据梯度算法权重W的修正量?W正比于当前W上 E 的梯度： 即： 其中?k为输出节点k的误差。 显然，上式与基于Hebb规则得到的权重修正公式相同。但是两者的原理是不同的，前者基于误差梯度，要求激活函数可微，能够应用于多层感知器情形。 上面权重修正公式也可表示为： 非线性激活函数时： 此时， 写成矩阵形式有： 一般的连续可微激活函数有Sigmoid函数和双曲正切函数，即： 梯度算法的步骤与前面Hebb训练算法步骤类似，仅仅是误差表达式不同。 算法特点： 要求神经元激活函数可微，易于推广到非 线性激活单元 算法过程原理上永不停止并逐渐接近最优 解，即?k不等于0。 当误差函数存在多个局部极小点时，一般 而言，梯度算法得不到全局最小解。 BP网络模型 一个具有任意的压缩(Squashing)型激活函数（如Sigmoid函数、双曲正切函数等）的单隐层前向网络，只要有充分多的隐层单元，就能够以任意的精度逼近任意一个有限维的波莱尔可测函数(Borel measurable function)，从 而表明BP网络是一个通用的函数逼近器。 BP算法： 考虑单样本学习的BP算法，定义网络的目标函数为： 对单隐层网络， 对于隐层至输出层权重W2： 对于输入层至隐层权重W1： 一般，对于多于一个隐层的 BP 网络，最后一隐层与输出层之间的权重修正公式仍与上面第一个公式相同，其它层间权重修正公式可统一表示为： 上式中： BP算法特点 将神经网络学习输入输出的映射问题转变为 非线性优化问题，使用最优化中的梯度下降 算法，用迭代运算修正网络权重，实现网络 输出与期望输出间的均方误差最小化。 算法由前向计算过程和误差反向传播过程组 成。在前向计算过程中，每一层神经元的状 态只影响下一层神经元的状态。若输出层得 不到期望的输出，则转向反向传播，将误差 信号延原来的连接通路返回，通过修改各层 的权重，使得误差信号最小。 权重修正量只与该权重联接的两个相关量 （前一节点的输出； 后一节点的误差） 有 关，使得BP算法易于并行实现。 BP网络的应用中的几个实际问题 样本集的产生 包括原始数据的收集、数据分析、变量选择以及数据的预处理等。 确定模式变量（特征） 通过对原始数据的统计分析，检验输入间的相关性。对于具有很强相关性的输入仅取其中之一即可。 输入尺度变换（归一化）和预处理 尺度变换常常将输入变换到[-1，1]或[0，1]的范围。一方面，避免由于输入变量数值相差过大，导致训练的困难。另一方面，避Sigmoid函数陷入饱和。 在进行尺度变换前必须先检查是否存在异常点（或称野点），这些点必须剔除。 对数据的预处理包括检验其是否存在周期性、固定变化趋势或其它关系等。 样本数量 一般说来数据越多，学习和训练的结果越能正确反映输入输出关系。但太多的数据将增加收集、分析数据以及网络训练所付出的代价，太少的数据则可能得不到正确的结果。 事实上数据的多少取决于许多因素，如网络的大小、网络测试的需要以及输入输出的分布等。其中网络大小最关键。通常较大的网络需要较多的训练数据。一个经验规则是：训练模式应是连接权总数的5至10倍。 影响数据多少的另一个因素是输入模式和输出结果的分布，对数据预先加以分类可以减少所需的数据数。相反，数据稀薄不均甚至互相覆盖则势必要增加数据量。 测试样本 测试数据应是独立的数据集合。最简单的方法是：将收集到的可用数据随机地分成两部分，如其中三分之二用于网络的训练，另外三分之一用于将来的测试，随机选取的目的是为了尽量减小这两部分数据的相关性。 训练样本的完备性要求 训练样本必须覆盖所有可能的输入和输出的映射区域，即要求训练样本集必须是完备的，否则，当BP网络进行决策时，对没有学习过的样本区域可能会给出完全错误的结果。 作为分类器时的输出表示 每个输出节点对应一种类别 通过编码（二进制）表示不同的类别 训练和测试 BP网络解决问题的能力与训练次数不成正比。网络训练的目的在于找出蕴含在样本数据中的输