第二部分神经网络1学习课件.pptVIP

 郭宁 guoning@sdili.edu.cn 一、引言 ANN (Artificial Neural Networks)是模仿人脑神经网络的数学模型，是一种信息处理系统。 人脑固有特征： 并行分布处理工作模式 神经系统的可塑性和自组织性 系统性 二、发展史 1943 W.Mcculloch和W.Pitts首次提出了人工神经网络模型。 1957 Frank Rosenblatt发展了模型，并提出了感知器（Perceprton)模型以及两层感知器的收敛定理（1962），提出引入隐层处理元件的三层感知器这一重要的研究方向 1959 B.Widrow和M.Hoff提出了自适应线性元件（Adaline) 1969 Papert和Minsky出版了《Perceptrons》,对感知器的功能及其局限性从数学上作了深入的研究，提出了双层感知器的许多局限性。 1982 John Hopfieldt提出具有联想记忆和优化计算的反馈网络模型（HNN模型），使人们对人工神经网络有了新的认识。 1986 D.E.Rumelhart提出BP算法。 1987 IEEE举行首次神经网络会议，国际神经网络学会成立。 三、神经网络的基本结构 人工神经元（接受、处理、输出信号） 连接权重（强度） 连接模式 学习算法 1. 单个神经元的结构 2. 激活函数（核心）作用 控制输入对输出的激活作用； 对输入、输出进行函数转换 将可能无限于的输入变成指定的有限范围的输出 常用的激活函数： 阀值型（硬限制性 ） 线性型 S型（Sigmoid) 将任意输入值压缩到（0，1）的范围内。 对数S型 4. 神经网络的结构 每一层的作用 输入层——从外部接受信息并将此信息传入人工神经网络，以进行处理。 隐含层——接受输入层的信息，静静地对所有的信息进行处理，整个处理步骤用户是看不见的。 输出层——接受人工神经网络处理后的信息，将结果送到外部接受器。 神经网络仅仅具有拓扑结构，还不能具有任何智能特性，必须有一套完整的学习、工作规则与之配合 四、神经网络的分类 拓扑结构： 前向网络 反馈网络 2. 按学习方式分类 五、神经网络的特点 高度的并行性 高度的非线性全局作用 良好的容错性与联想记忆功能 十分强的自适应、自学习功能 六、神经网络的应用 模式信息处理和模式识别 最优化计算问题 信息的智能化处理 复杂控制 信号处理 七、BP算法 反响传播网络（Back-Propagation Network)是非线性可微分函数进行权值训练的多层网络，主要用于： 函数逼近 模式识别 分类 数据压缩 1. BP网络的学习过程 假设BP网络中有r个输入单元 、n个隐含单元、m个输出单元，则称为r×n×m网络。输入节点i和隐含节点ｊ之间的连接权值为w(1)ij，作用函数f为Sigmoid函数，训练集包含M个样本模式对 (xk, yk,… )。 对每个训练样本 Pi，于每个隐含单元的输出为Aj，则： 隐含节点j和输出节点k之间的连接权重为w(2)jk, 则对于输出Oj： 若对应于Pi的目标值为di, 定义误差函数： 可得如下权值修正公式： 式中η为学习速率，Δw为ei的函数，α为动量因子。 2. 主要步骤 初始化 对每个样本作如下计算 前向计算输出 反向计算误差 修正权值 3）输入新的样本，直到达到要求 3. 缺点及修正 误差梯度下降，但易陷入极小点处 可以增加动量项， 对权重用均匀分布的随机数进行初始化， 改进激发函数 采用全局优化算法 收敛速度慢， 可采用“批处理”算法 使各种神经元的学习速度差不多 自适应学习效率 隐含层神经元数数目难以确定 采用逐步增长或逐步修剪的方法 * * 人工神经网络简介 p1 p2 …. …. pr w1 w2 wr n b a 1 P W A f n -b 0 -1 1 f -b n -1 1 0 双曲正切S型 三层网络的结构示意图 反馈网络结构图 Chat of backfeed neural network 教师示教学习方式 Chat of neural with tutor 无教师示教学习方式 Chat of neural network without tutor ) ( ) 1 ( D + = + w t w t w ) ( ( )) 1 ( - - + t w t w a h