神经网络-安徽理工大学.pdf

第九章 人工神经网络 安徽理工大学计算机学院 方贤进 （春季，研究生课程） 神经网络是通过模拟人脑的结构和工作模式，使机器具有类似人类的智 能，如机器学习、知识获取、专家系统等。 9.1 人工神经网络的概念、结构 人工神经网络（Artificial Neural Nets，ANN）是由大量处理单元经广泛互连 而组成的人工网络，用来模拟脑神经系统的结构和功能。而这些处理单元称作人 工神经元。 人工神经网络（ANN）可以看成是以人工神经元为结点，用有向加权弧连接起来 的有向图。在此有向图中，人工神经元就是对生物神经元的模拟，而有向弧则是 轴突—突触—树突对的模拟。有向弧的权值表示相互连接的两个人工神经元间相 互作用的强弱。 人工神经网络的组成： 人工神经元模型由心理学家Mcculloch和数理逻辑学家Pitts合作提出的M-P 模型： x ,x ,...,x 是来自其它人工神经元的信息作为该人工神经元的输入，权值 1 2 n w ,w ,...,w 表示各输入的连接强度。θ是神经元兴奋时的内部阈值，当神经元 1 2 n 输入的加权和大于θ时，神经元处于兴奋状态。而神经元的输出为： ,f称为激发函数或作用函数，该输出为1或0 取决于其 输入之和大于或小于内部阈值 。也就是说令： θ ，f 函数的定义如下： 即 σ0 时，该神经元被激活，进入兴奋状态，f(σ)=1,当 σ0 时，该神经元被 抑制，f(σ)=0 激发函数具有非线性特性。常用的非线性激发函数有阈值型、分段线性型、 Sigmoid函数型（简称S型）和双曲正切型。如下图所示： 9.2 单层感知器（Perceptron）模型及其学习算法 9.2.1 感知器训练法则 1957年美国学者Rosenblatt提出了一类具有自学习能力的感知器模型，它是一 个具有单层计算单元的前向神经网络，其神经元为线性阈值单元，称为单层感知 器。它和M-P模型相似，当输入信息的加权和大于或等于阈值时，输出为1，否 则输出为0或-1。与M-P模型不同之处是神经元之间的连接权值w 是可变的，这 i 种可变性就保证了感知器具有学习能力。 Rosenblatt提出的单层感知器由输入部分和输出层构成，输出层即为它的计算 层。在该感知器模型中，输入部分和输出层都可由多个神经元（处理单元）构成， 输入部分的神经元与输出层的各种神经元间均有连接。当输入部分将输入数据传 送给连接的处理单元时，输出层就会对所有输入数据进行加权求和，经阈值型作 用函数产生一组输出数据。 1959 年Rosenblatt提出了感知器模型中连接权值参数的学习算法。算法的思想 是首先把连接权值和阈值初始化为较小的非零随机数，然后把有n个连接权值的 输入送入网络，经加权运算处理，得到的输出如果与所期望的输出有较大的差别， 就对连接权值参数按照某种算法进行自动调整，经过多次反复，直到所得到 的输出与所期望的输出间的差别满足要求为止。 感知器信息处理的规则为： ， 其中y(t)为t时刻输出，xi为输入向量的一个分量，Wi(t)为t时刻第i个输入 的加权，θ为阈值，f()为阶跃函数。 感知器的学习规则如下： 其中η为学习率