数据挖掘神经网络重点.pptVIP

7.3.2 反向传播模型 1.工作原理 神经网络模型分为前馈多层式网络模型、反馈递归式网络模型、随机型网络模型等。 误差反向传播(Back propagation，简称BP网络) ，又称为多层前馈神经网络。 2.学习过程 BP网络学习过程是一种误差边向后传播边修正权系数的过程，BP算法把网络的学习过程分为正向传播和反向传播两种交替过程。 （1）正向传播 输入信息先传到隐藏层的结点上，经过各单元的特性为S型的激活函数运算后，把隐藏层结点的输出信息传到输出结点，最后给出输出结果。 （2）反向传播 如果得不到实际的输出，则转入反向传播过程，将误差信号沿原来的连接线路返回，通过修改各层神经元的权值，逐次地向输入层传播进行计算，再经过正向传播过程。这两个过程的反复运用，逐渐使得误差信号最小，网络学习过程就结束。 3．BP算法 BP算法如下。 其中，l为学习率；oi为单元i的输出；oj为单元j的输出；Tj为输出层单元j的期望输出；Errj为与隐藏层单元j的误差加权和；wjk为单元j与单元k相连的有向加权边的权重；为改变单元j活性的偏量。 输入：训练样本S，学习率l，多层前馈网络。 输出：一个训练的、对样本分类的神经网络。 方法： (1) 初始化网络的权和阈值 (2)??WHILE终止条件满足{ (3)??FOR S中的每个训练样本X{ (4)??FOR隐藏或输出层每个单元j{( (5) ; //相对于前一层计算单元j的净输入 (6) ; // 计算每个单元j的输出 (7)??FOR输出层每个单元 (8)? ; //计算误差 (9)??FOR由最后一个到第一个隐藏层，对于隐藏层每个单元j (10)? ; //计算关于下一个较高层k的误差 (11)??FOR网络中的每一个权 (12) ?; (13)??FOR网络中每个单元偏量 (14)? 【例7-5】 假设训练样本s的属性值为｛1，0，1｝，实际类别分别为1，两层前馈神经网络NT如图7.4所示，NT中每条有一向加权边的权重、每个隐藏层与输出层单元的偏置如表7-11所示，学习率为0.9。写出输入S训练NT的过程。 首先算出单元4、5、6的输入、输出，具体结果见表7-12，然后计算4、5、6的误差，见表7-13；NT中每条有向加权边的新权重、每个隐藏层与输出层单元的新偏置见表7-14。 表7-11 权重、单元的偏置 7.3.3 定义神经网络拓扑 神经网络在开始训练之前，必须确定输人层的单元数、层数，每个隐藏层的单元数和输出层的单元数，以确定网络拓扑结构。 7.3.4 神经网络工作过程 所有神经网络的工作过程主要分两个阶段：工作阶段和学习阶段 (1) 工作阶段，此时各连接权值固定，处理单元状态变化，以求达到稳定状态； (2) 学习阶段，各处理单元状态保持不变，各连接权值可修改。 教师示教学习方式，需要给定一组样本(输入输出数据对)，网络根据实际输出与样本的比较，决定连接权的调整方式。 无教师示教学习方式，外部不提供正确的输出，网络仅仅是根据其特有的网络结构和学习规则，对属于同一类的模式进行自动分类。 * 目前关于人工神经网络的定义尚不统一 定义一 美国神经网络学家Hecht Hielsen关于人工神经网络的一般定义是：“神经网络是由多个非常简单的处理单元彼此按某种方式相互连接而形成的计算系统，该系统是靠其状态对外部输入信息的动态响应来处理信息的”。 定义二 美国国防高级研究计划局关于人工神经网络的解释是： “人工神经网络是一个由许多简单的并行工作的处理单元组成的系统，其功能取决于网络的结构、连接强度以及各单元的处理方式。” 定义三 综合人工神经网络的来源、特点及各种解释，可以简单表述为： 人工神经网络是一种旨在模仿人脑结构及其功能的信息处理系统。为叙述简便，后面常将人工神经网络简称为神经网络。 * 联想记忆功能 由于神经网络具有分布存储信息和并行计算的性能，因此它具有对外界刺激信息和输入模式进行联想记忆的能力。联想记忆有两种基本形式：自联想记忆与异联想记忆。 自联想记忆 网络中预先存储（记忆)多种模式信息，当输入某个已存储模式的部分信息或带有噪省干扰的信息时，网络能通过动态联想过程回忆起该模式的全部信息。 异联想记忆 网络中预先存储了多个模式对，每一对模式均由两