DM_3-3_BP算法及其他方法.pptVIP

人工神经网络 Dr. Qingyuan Bai School of Computer Science Faculty of Mathematics and Computer Science, Fuzhou University Email: baiqy@fzu.edu.cn 什么是神经元网络 （Artificial Neural Network, ANN) 由简单的处理单元（神经元）构成的规模宏大的并行分布式的处理器，存储经验知识和使之可用的特性。是想模仿人（或动物）脑的物理（或计算）模型。有两方面与人脑相似： 神经元网络获取的知识是从外部的环境中 学习来的。 互连神经元网络的连接强度，即突触权值，用于存储获取的知识。 成功应用 神经网络学习方法对于逼近实数值、离散值或向量值的目标函数提供一个健壮性的方法，特别是反向传播算法（BP）已在一些实际问题得到了惊人的成功，如人脸识别，文字（手写体等）识别，语音识别，汽车驾驶，股票分析……等。 人工神经元网络 一 概述 1 ANN的发展历史 2 感知器 3 后向传播算法 一 概 述1 ANN的发展历史2 感知器3 后向传播算法 1.ANN的发展历史（1/4） MP模型 Mcculloch（生理）和Pitts(数理逻辑)1943年首次提出神经元的数学模型，即M-P数学模型。能完成有限的逻辑运算。 感知器 1958年，Rosenblatt提出单层感知器网络,在计算机上模拟，通过调整权值，达到分类的结果。 线性单元 1962年Widrow提出自适应线性元件网络(Adaptive line element, Adaline)，做出了硬件。 《Perceptrons》出版 1969年，Minsky Papert出版《Perceptrons》一书，ANN研究进入低潮。 1.ANN的发展历史（2/4） 反馈神经网络 Hopfield在1982,1984年发表论文，将能量函数引 入神经网络计算，提出反馈人工神经网络。 //网络的运行是一个非线性动力系统,主要用于联想记忆和优化。 多层前馈神经网络 1986年Rumelhart等提出BP（Back-Propagation） 算法，解决中间层神经元权的调整问题，非线性映 射,主要用于模式识别、预测、数据挖掘等领域。 1.ANN的发展历史 （4/4） 模拟 ANN系统的一个动机就是获得这种基于分布表示的高度并行算法。 由于ANN只是一定程度地受生物神经系统的启发，所以ANN并未模拟生物神经系统中的很多复杂特征，而且已经知道ANN的很多特征与生物系统也是不一致的。 长期以来，人工神经网络领域的研究者分为两个团体。一个团体的目标是使用ANN研究和模拟生物学习过程。另一个团体的目标是获得高效的机器学习算法，不管这种算法是否反映了生物过程。 2. 感知器（1/6） 生物神经元 2.感知器（2/6） 生物神经元由细胞体、树突和轴突所组成，细胞体能对接收的信息进行处理，轴突是较长的神经纤维，可发出信息，树突可接收信息，树突较短且分支较多，一个神经元的轴突与另一个神经元树突接触，传递神经元冲动的地方称突触。 一个神经元是多输入、单输出，各输入可能有强度不同作用（不同权值），突触有兴奋和抑制状态，输入输出为非线性关系。 2. 感知器（3/6） MP模型 输入和输出都为二进制数值{0，1}或{-1，1} 2.感知器（4/6） 感知器单元 以一个实数值向量作为输入，计算这些输入的线性组合，如果结果大于某个阈值就输出1，否则输出-1。 2.感知器--作用函数（5/6） 激发函数常称作用函数，有各种各样，这要取决于问题。 比例函数y=f (x)=x [0,1]阶跃函数y=f (x)= [-1,1]符号函数y=f (x)= （-1,1）双曲线函数 饱和函数y=f (x)= (0,1) S型函数 2.感知器（6/6） 感知器的表征能力 感知器可以表示所有的原子布尔函数：与、或、与非（NAND）和或非（NOR）。 然而不幸的是，一些布尔函数无法用单一的感知器表示，例如异或函数（XOR），它当且仅当x1?x2时输出为1。 感知器表示与、或、与非、或非的能力是很重要的，因为所有的布尔函数都可表示为基于这些原子函数的互连单元的某个网络。 事实上，仅用两层深度的感知器网络就可以表示所有的布尔函数，在这些网络中输入被送到多个单元，这些单元的输出被输入到第二级，也是最后一级。 3.后向传播(Back Propagation,BP)算法(1/3) 3. BP (后向传播) 算法（2/3） 1986年 D.E.Rumelhart 等人在MIT出