第1章-人工神经网络.pptVIP

智能信息处理

IntelligentInformationProcessing;内容简介;1.人工神经网络

ArtificialNeuralNetworks;1.1人工神经网络的提出;1.2人工神经网络的特点;1.3人工神经元;激活函数——执行对该神经元所获得的网络输入的变换，也可以称为鼓励函数、活化函数、响应函数、作用函数等。;〔1〕对称型Sigmoid函数;〔2〕非对称型Sigmoid函数;〔3〕对称型阶跃函数函数;〔4〕线性函数;〔5〕高斯函数;1.4人工神经网络的典型结构;〔1〕前馈型神经网络

神经元分层排列，顺序连接。由输入层施加输入信息，通过中间各层，加权后传递到输出层后输出。每层的神经元只接受前一层神经元的输入，各神经元之间不存在反响。;〔2〕反响型神经网络

网络的输出信号通过与输入连接而返回到输入端，从而形成一个回路。因此每一时刻网络输出不仅取决于当前的输入，而且还取决于上一时刻的输出。;1.5人工神经网络的学习;人工神经网络连接权确实定通常有两种方法

根据具体要求，直接计算

通过学习得到的,大多数人工神经网络都采用这种方法;1〕有导师学习方式;;心理学家Hebb根据生理学中的条件反射机理，于1949年提出的神经元连接强度变化的规那么：

如果两个神经元同时兴奋(即同时被激活)，那么它们之间的突触连接加强。

根据该假设定义的权值调整方法称为Hebb学习规那么，可归纳为：当神经元i和神经元j同时处于兴奋状态时，两者之间的连接强度应增强。;2〕纠错式学习—Delta(δ)学习规那么;现在要调整权值，使误差信号e(n)减小到一个范围。为此，可设定代价函数或性能指数E(n)：;1.6BP网络;BP网络主要用于：

〔1〕函数逼近：用输入矢量和相应的输出矢量训练网络逼近某个函数；

〔2〕模式识别：用一个特定的输出矢量将它与输入矢量联系起来；

〔3〕分类：把输入矢量以所定义的适宜的方法进行分类；

〔4〕数据压缩：减少输出矢量维数以便于传输或存储。

在人工神经网络的实际工程应用中，特别在自动控制领域中，大多数神经网络模型是采用BP网络或它的变化形式，它也是前向网络的核心局部，表达了人工神经网络最精华的局部。;BP网络的结构

输入向量、输出向量??维数、网络隐含层的层数和各个隐含层神经元个数的决定。

实验：增加隐藏层的层数和隐藏层神经元个数不一定总能够提高网络精度和表达能力。

BP网一般都选用三层网络。;;计算过程;〔2〕反向传播调整过程

1〕误差函数定义

输入P个学习样本：

第p个样本输入到网络后得到输出

采用平方型误差函数，于是得到第p个样本的误差：

式中，为期望输出。对于P个样本，全局误差为：;2〕输出层权值和阈值的变化

采用累计误差BP算法调整，使全局误差E变小，即

为学习速率

;3〕隐含层权值和阈值的变化

采用累计误差BP算法调整，使全局误差E变小，即

为学习速率

;〔3〕循环记忆训练

为使网络的输出误差趋于极小值，对于BP网络输入的每一组训练模式，一般要经过数百次甚至上万次的循环记忆训练，才能使网络记住这一模式。

这种循环记忆训练实际上就是反复前两步的正向传播输出过程和反向传播调整过程。

〔4〕学习结果的判别

当每次循环记忆训练结束后，都要进行学习结果的判别。判别的目的主要是检查输出误差是否已经小到允许的程度。如果小到了允许的程度，就可以结束整个学习过程，否那么还要进行循环训练。学习或者说训练的过程是网络全局误差趋向于极小值的过程。;1.7算法的改进;3〕容易陷入局部极小值

BP算法采用的是梯度下降法，训练是从某一起始点沿误差函数的斜面逐渐到达误差的最小值。对于复杂的网络，其误差函数为多维空间的曲面，因而在训练过程中可能陷入某一小谷区，而这一小谷区产生的是一个局部极小值。由此点向各方向变化均使误差增加，以致于使训练无法逃出这一局部极小值。

4〕结构不确定性

网络隐含层的层数及单元数的选取无理论上的指导，而是根据经验确定的，因此网络的设计有时不是最正确的。;〔2〕常用改进方法

1〕自适应学习速率法;2〕附加动量法;3〕自适应学习速率动量BP法;4〕基于误差自动调节修正因子的自适应学习速率法;6〕LM优化法;1.8算法实例分析