第4章节 神经计算.pptVIP

普化能力 由于其运算的不精确性，人工神经网络在被训练后，对输入的微小变化是不反应的。与事物的两面性相对应，虽然在要求高精度计算时，这种不精确性是一个缺陷，但是，有些场合又可以利用这一点获取系统的良好性能。例如，可以使这种不精确性表现成“去噪声，容残缺”的能力，而这对模式识别有时恰好是非常重要的。 适用性 人工神经网络擅长于处理适用形象思维的问题。主要包括两个方面： 1）对大量的数据进行分类，并且只有较少的几种情况。 2）必须学习一个复杂的非线性映射。 ANN类型与功能 计算功能 ANN模型代表 数学近似映射，如模式识别，分类，函数逼近 BP CPN RBF Elamn 概率密度函数估计 SOM CPN 从二进制数据基中提取相关信息 BSB（脑中盒模型） 形成拓扑连续及统计意义上的同构映射 SOM,Kohonen 最近相邻模式分类 BP,BM(玻尔兹曼机)，CPN, Hopfield，BAM,ART, Kohonen 数据聚类 ART 最优化 BM Hopfield 4.1.3人工神经元模型 基本构成 激活函数 M-P模型 基本构成 激活函数 神经元在获得网络输入后，它应该给出适当的输出。按照生物神经元的特性，每个神经元有一个阈值，当该神经元所获得的输入信号的累积效果超过阈值时，它就处于激发态；否则，应该处于抑制态。为了使系统有更宽的适用面，希望人工神经元有一个更一般的变换函数，用来执行对该神经元所获得的网络输入的变换，这就是激活函数，也可以称之为激励函数、活化函数，用f表示： 式中，o是该神经元的输出。由此式可以看出，此函数同时也用来将神经元的输出进行放大处理或限制在一个适当的范围内。典型的激活函数有线性函数、非线性斜面函数、阶跃函数和S形函数等4种。 M-P模型 4.1.4 网络拓扑结构 单级网 多级网 循环网 简单单级网 多级前馈网 4.1.5人工神经网络的训练 人工神经网络最具有吸引力的特点是其学习能力。 人工神经网络的学习过程就是对它的训练过程。所谓训练，就是在将由样本向量构成的样本集合（简称为样本集、训练集）输入到人工神经网络的过程中，按照一定的方式去调整神经元之间的连接权，使得网络能将样本集的内涵以连接权矩阵的方式存储起来，从而使得在网络接受输入时，可以给出适当的输出。 从学习的形式来看，一种是有导师学习，另一种是无导师学习，后者较为低级。 无导师学习 有导师学习 4.2 感知器 感知器是最早被设计并被实现的人工神经网络。 学习算法 线性不可分问题 感知器结构图 4.2.1学习算法 离散单输出感知器训练算法 离散多输出感知器训练算法 连续多输出感知器训练算法 离散单输出感知器训练算法 离散多输出感知器训练算法 连续多输出感知器训练算法 4.3 BP神经网络 Rumelhart，McClelland于1985年提出了BP网络的误差反向后传BP(Back Propagation)学习算法 BP算法基本原理 利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其他各层的误差估计。 David Rumelhart J. McClelland 4.3.1 BP神经网络模型 三层BP网络 4.3.1 BP神经网络模型 激活函数 必须处处可导 一般都使用S型函数 使用S型激活函数时BP网络输入与输出关系 输入 输出 4.3.1 BP神经网络模型 输出的导数 根据S型激活函数的图形可知,对神经网络进行训练，应该将net的值尽量控制在收敛比较快的范围内 4.3.2 BP网络的标准学习算法 学习的过程： 神经网络在外界输入样本的刺激下不断改变网络的连接权值,以使网络的输出不断地接近期望的输出。 学习的本质： 对各连接权值的动态调整 学习规则： 权值调整规则，即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则。 4.3.2 BP网络的标准学习算法-算法思想 学习的类型：有导师学习 核心思想： 将输出误差以某种形式通过隐层向输入层逐层反传 学习的过程： 信号的正向传播 误差的反向传播 将误差分摊给各层的所有单元－－－各层单元的误差信号 修正各单元权值 4.3.2 BP网络的标准学习算法-学习过程 正向传播： 输入样本－－－输入层－－－各隐层－－－输出层 判断是否转入反向传播阶段： 若输出层的实际输出与期望的输出（教师信号）不符 误差反传 误差以某种形式在各层表示－－－－修正各层单元的权值 网络输出的误差减少到可接受的程度 进行到预先设定的学习次数为止 4.3.2 BP网络的标准学习算法 网络结构 输入层有n个神经元，隐含层有p个神经元, 输出层有q个神经元 变量定义 输入向量; 隐含层输