BP神经网络教学课件培训资料.ppt

数据挖掘 ——BP神经网络 湖南大学工商管理学院 兰秋军 博士 副教授 内容 神经网络概述 BP神经网络 神经网络概述 导言 人工神经网络是近年来得到迅速发展的一个前沿课题。神经网络由于其大规模并行处理、容错性、自组织和自适应能力和联想功能强等特点，已成为解决很多问题的有力工具。本讲对神经网络原理作简单介绍，然后介绍其在经济预测中的案例。 脑神经信息活动的特征 巨量并行性。 信息处理和存储单元结合在一起。 自组织自学习功能。 神经网络研究的发展 最早的研究可以追溯到20世纪40年代。1943年，心理学家McCulloch和数学家Pitts合作提出了形式神经元的数学模型。这一模型一般被简称M-P神经网络模型，至今仍在应用，可以说，人工神经网络的研究时代，就由此开始了。 1949年，心理学家Hebb提出神经系统的学习规则，为神经网络的学习算法奠定了基础。现在，这个规则被称为Hebb规则，许多人工神经网络的学习还遵循这一规则。 神经网络研究的发展 1957年,F.Rosenblatt提出“感知器” (Perceptron)模型，第一次把神经网络的研究从纯理论的探讨付诸工程实践，掀起了人工神经网络研究的第一次高潮。 20世纪60年代以后，数字计算机的发展达到全盛时期，人们误以为数字计算机可以解决人工智能、专家系统、模式识别问题，而放松了对“感知器”的研究。于是，从20世纪60年代末期起，人工神经网络的研究进入了低潮 神经网络研究的发展 1982年，美国加州工学院物理学家Hopfield提出了离散的神经网络模型，标志着神经网络的研究又进入了一个新高潮。1984年，Hopfield又提出连续神经网络模型，开拓了计算机应用神经网络的新途径。 1986年，Rumelhart和Meclelland提出多层网络的误差反向传播(Back Propagation)学习算法，简称BP算法。BP算法是目前最为重要、应用最广的人工神经网络算法之一。 自20世纪80年代中期以来，世界上许多国家掀起了神经网络的研究热潮，可以说神经网络已成为国际上的一个研究热点。 神经元模型 输入 信号 连接 权重 加总 函数 激活函数 输出 o x1 x2 xn w2 wn w1 w0 x0 典型的激活函数 阶跃函数： x f(x) 线性函数： x f(x) Log-Sigmoid函数： x f(x) 注意该函数的导数： 神经网络拓扑结构 输出层 隐藏层 输入层 o1 o2 om … x1 x2 xn … … … … … … 神经网络由大量神经元互连而成，按其拓扑结构可分成: 层次网络模型 神经元分成若干层顺序连接，在输入层上加上输入信息，通过中间各层，加权后传递到输出层后输出，其中有的在同一层中的各神经元相互之间有连接，有的从输出层到输入层有反馈； 互连网络模型 任意两个神经元之间都有相互连接的关系，在连接中，有的神经元之间是双向的，有的是单向的，按实际情况决定。 什么是学习？ 学习就是通过向有限个例子（训练样本）的学习来找到隐藏在例子背后（即产生这些例子）的规律（如函数形式）。 当样本数据改变系统参数时，系统会对这些改变进行自适应或自组织的学习，在神经网络中表现为突触的改变。 按突触修正假说，神经网络在拓扑结构固定时，其学习归结为连接权的变化。 什么是监督？ 监督就是对每一个输入Xi,都假定我们已经知道它的期望输出Yi,这个Yi可以理解为监督信号，也叫“教师信号”。 每一个输入Xi及其期望输出Yi，就构成了一个训练实例。 监督学习与非监督学习的区别 在监督学习中，假定我们知道每一输入对应的期望输出，并利用学习系统的误差，不断校正系统的行为； 在非监督学习中，我们不知道学习系统的期望输出。 神经网络的分类 按网络结构分为：前馈网络和反馈网络； 按学习方式分为：监督学习和非监督学习,也叫有导师学习和无导师学习。 本讲主要论述前馈网络的监督学习法。 神经网络的分类有多种方法，常用如下分类： BP神经网络 简介 BP（Back Propagation）网络1985年由Rumelhart和McCelland提出 是目前应用最广泛的神经网络模型之一 网络结构 BP神经网络模型拓扑结构包括输入层（input）、隐层(hide layer)和输出层(output layer) 其它一些特点 层间无反馈 有监督学习 其激活函数为： 第p个样本的误差计算模型 Ep=1/2×∑(tpi-Opi)2???? tpi 第 i个节点的期望输出值； Opi i节点计算输出值 BP学习算法思想 在外界输入样本的刺激下不断改变网络的连接权值,以使网络的输出不断地接近期望的输出。 两环节组成:信息的正向传递与误差的反