机械故障诊断学第7章.ppt

第7章 神经网络诊断原理; 概述; 与传统计算机的比较 ; 人工神经网络的拓扑结构及其学习规则; 生物神经元的主要功能 ; 人工神经元; ANN的拓扑结构 ; 反馈网络 ;状态反馈网络 输出反馈网络 ; ANN的学习规则 ; 纠错规则 ;广义? 规则(BP学习规则)： ; 随机学习规则 ; 强化学习规则 ;三类学习规则： ; 无指导学习; ANN的分类; 多层前向神经网络模型及BP算法;令Y=(y1, y2, …, yM)T，F(?)=(f1(?), f2(?), …, fM(?))T ;National Laboratory of High Performance Complex Manufacturing，Central-South University;多层感知器：;H?表示第?层的隐节点数。H0=N ;感知器特点： 网络输出仅与输入及网络权矩阵有关，输 出为输入的显式表达，输入前传计算得到 输出 多层网络所有神经元的激活函数不能全部 为线性函数，否则，多层网络等效于单层 网络。 ;感知器性能分析： 单层感知器的分类特性;; 单层感知器表示能力;;单层感知器的单一超平面判决边界决定了其只适用于线性可分问题。 高维时，线性可分性通常无法判别，因此，单层感知器通常用于简单的分类问题。 ; 多层感知器的分类特性;National Laboratory of High Performance Complex Manufacturing，Central-South University;感知器学习算法： Hebb规则算法 ;算法步骤： ;National Laboratory of High Performance Complex Manufacturing，Central-South University;National Laboratory of High Performance Complex Manufacturing，Central-South University;缺陷： 本质上不可能对隐层单元权重进行调节，因为隐单元的期望输出未知，因而不能应用于多层网络的学习 对非线性可分问题，算法不收敛 ; ?规则算法 ;根据梯度算法权重W的修正量?W正比于当前W上 E 的梯度： ;上面权重修正公式也可表示为： ;写成矩阵形式有： ;梯度算法的步骤与前面Hebb训练算法步骤类似，仅仅是误差表达式不同。 算法特点： 要求神经元激活函数可微，易于推广到非 线性激活单元 算法过程原理上永不停止并逐渐接近最优 解，即?k不等于0。 当误差函数存在多个局部极小点时，一般 而言，梯度算法得不到全局最小解。 ; BP网络模型 ;一个具有任意的压缩(Squashing)型激活函数（如Sigmoid函数、双曲正切函数等）的单隐层前向网络，只要有充分多的隐层单元，就能够以任意的精度逼近任意一个有限维的波莱尔可测函数(Borel measurable function)，从 而表明BP网络是一个通用的函数逼近器。 ;BP算法： 考虑单样本学习的BP算法，定义网络的目标函数为： ;对于隐层至输出层权重W2： ;National Laboratory of High Performance Complex Manufacturing，Central-South University;一般，对于多于一个隐层的 BP 网络，最后一隐层与输出层之间的权重修正公式仍与上面第一个公式相同，其它层间权重修正公式可统一表示为： ;BP算法特点 ; 权重修正量只与该权重联接的两个相关量 （前一节点的输出； 后一节点的误差） 有 关，使得BP算法易于并行实现。 ;BP网络的应用中的几个实际问题 ; 输入尺度变换（归一化）和预处理 尺度变换常常将输入变换到[-1，1]或[0，1]的范围。一方面，避免由于输入变量数值相差过大，导致训练的困难。另一方面，避Sigmoid函数陷入饱和。 在进行尺度变换前必须先检查是否存在异常点（或称野点），这些点必须剔除。 对数据的预处理包括检验其是否存在周期性、固定变化趋势或其它关系等。 ; 样本数量 一般说来数据越多，学习和训练的结果越能正确反映输入输出关系。但太多的数据将增加收集、分析数据以及网络训练所付出的代价，太少的数据则可能得不到正确的结果。 事实上数据的多少取决于许多因素，如网络的大小、网络测试的需要以及输入输出的分布等。其中网络大小最关键。通常较大的网络需要较多的训练数据。一个经验规则是：训练模式应是连接权总数的5至10倍。 ;影响数据多少的另一个因素是输入模式和输出结果的分布，对数据