神经网络2008.pptVIP

1.5 人工神经网络的训练 人工神经网络最具有吸引力的特点是它的学习能力。 1962年，Rosenblatt给出了人工神经网络著名的学习定理：人工神经网络可以学会它可以表达的任何东西。 人工神经网络的表达能力大大地限制了它的学习能力。 人工神经网络的学习过程就是对它的训练过程 无导师学习 无导师学习(Unsupervised Learning)与无导师训练(Unsupervised Training)相对应 抽取样本集合中蕴含的统计特性，并以神经元之间的联接权的形式存于网络中。 有导师学习 有导师学习(Supervised Learning)与有导师训练(Supervised Training)相对应。 输入向量与其对应的输出向量构成一个“训练对”。 从样本集合中取一个样本(Ai，Bi)； 计算出网络的实际输出O； 求D=Bi-O； 根据D调整权矩阵W； 对每个样本重复上述过程，直到对整个样本集来说，误差不超过规定范围。 训练算法的主要步骤 神经网络的应用 人工神经网络以其具有自学习、自组织、较好的容错性和优良的非线性逼近能力，受到众多领域学者的关注。在实际应用中，80%～90%的人工神经网络模型是采用误差反传算法或其变化形式的网络模型（简称BP网络），目前主要应用于函数逼近、模式识别、分类和数据压缩或数据挖掘。 二、BP(Backpropagation)网络 2.1 概述 2.1.1 BP算法的出现 非循环多级网络的训练算法 UCSD PDP小组的Rumelhart、Hinton和Williams1986年独立地给出了BP算法清楚而简单的描述 1982年，Paker就完成了相似的工作 1974年，Werbos已提出了该方法 2.1.2 弱点：训练速度非常慢、局部极小点的逃离问题、算法不一定收敛。 2.1.3 优点：广泛的适应性和有效性 2.2 基本BP算法 2.2.1 网络的构成 神经元的网络输入： neti=x1w1i+x2w2i+…+xnwni 神经元的输出： 网络的拓扑结构 1).BP网的结构 2).输入向量、输出向量的维数、网络隐藏层的层数和各个隐藏层神经元的个数的决定 3).实验：增加隐藏层的层数和隐藏层神经元个数不一定总能够提高网络精度和表达能力。 4).BP网一般都选用二级网络。 2.2.2 训练过程概述 样本：(输入向量，理想输出向量) 权初始化：“小随机数”与饱和状态；“不同”保证网络可以学。 1、向前传播阶段： （1）从样本集中取一个样本(Xp，Yp)，将Xp输入网络； （2）计算相应的实际输出Op： Op=Fl(…(F2(F1(XpW(1))W(2))…)W(L)) 2、向后传播阶段——误差传播阶段： (1)计算实际输出Op与相应的理想输出Yp的差； (2)按极小化误差的方式调整权矩阵。 (3)网络关于第p个样本的误差测度： (4)网络关于整个样本集的误差测度： 2.2.3 误差传播分析 输出层权的调整 隐藏层权的调整 2.2.4 基本的BP算法 样本集：S={(X1,Y1),(X2,Y2),…,(Xs,Ys)} 基本思想： –逐一地根据样本集中的样本(Xk,Yk)计算出实际输出Ok和误差测度E1，对W(1)，W(2)，…，W(L)各做一次调整，重复这个循环，直到ΣEpε。 –用输出层的误差调整输出层权矩阵，并用此误差估计输出层的直接前导层的误差，再用输出层前导层误差估计更前一层的误差。如此获得所有其它各层的误差估计，并用这些估计实现对权矩阵的修改。形成将输出端表现出的误差沿着与输入信号相反的方向逐级向输入端传递的过程 2.3.样本数据 2.3.1 收集和整理分组 采用BP神经网络方法建模的首要和前提条件是有足够多典型性好和精度高的样本。而且，为监控训练（学习）过程使之不发生“过拟合”和评价建立的网络模型的性能和泛化能力，必须将收集到的数据随机分成训练样本、检验样本（10%以上）和测试样本（10%以上）3部分。此外，数据分组时还应尽可能考虑样本模式间的平衡。 2.3.2 输入/输出变量的确定及其数据的预处理 一般地，BP网络的输入变量即为待分析系统的内生变量（影响因子或自变量）数，一般根据专业知识确定。若输入变量较多，一般可通过主成份分析方法压减输入变量，也可根据剔除某一变量引起的系统误差与原系统误差的比值的大小来压减输入变量。输出变量即为系统待分析的外生变量（系统性能指标或因变量），可以是一个，也可以是多个。一般将一个具有多个输出的网络模型转化为多个具有一个输出的网络模型效果会更好，训练也更方便。 由于BP神经网络的隐层一般采用Sigmoid转换函数，为提高训练速度和灵敏性以及