第四章() 常见神经网络模型.pptVIP

智能控制技术 中国计量学院自动化教研室 谢 敏 智能控制技术 第4章 人工神经元网络模型 4.1 引言 4.2 常见神经网络模型 4.2 常见神经网络模型 一、感知器 感知器（Perceptron）模型由美国心理学家Rosenblatt于1958年提出，其简化模型如下图： 一、感知器 一、感知器 感知器的最大作用就是可以对输入的样本分类，故它可作分类器，感知器对输入信号的分类如下： 即：当感知器的输出为1时，输入样本称为A类；输出为0时，输入样本称为B类。 感知器的分类边界是： 一、感知器 在输入样本只有两个分量x1，x2时，则有分类边界条件： 即 ???? w1x1+w2x2-θ=0? 一、感知器 感知器的学习算法： 感知器的学习算法目的在于找寻恰当的权系数w＝(w1，w2，…，wn)，使系统对一个特定的样本x＝(x1，x2，…，xn)能产生期望输出y。当x分类为A类时，期望值y＝1；X为B类时，y=0。 一、感知器 一、感知器 一、感知器 一、感知器 一、感知器 一、感知器 二、BP网络 二、BP网络 二、BP网络 二、BP网络 二、BP网络 二、BP网络 二、BP网络 三、Hopfield网络 三、Hopfield网络 三、Hopfield网络 三、Hopfield网络 三、Hopfield网络 三、Hopfield网络 三、Hopfield网络 三、Hopfield网络 三、Hopfield网络 三、Hopfield网络 三、Hopfield网络 三、Hopfield网络 三、Hopfield网络 4.2 常见神经网络模型 举例：设计一个具有两个能量井[-1，1]和[1，-1]的Hopfield网络。 * * 4.2 常见神经网络模型 4.2 常见神经网络模型 感知器的数学模型： 其中：f[.]是阶跃函数或符号函数，并且有 θ是阈值。 4.2 常见神经网络模型 4.2 常见神经网络模型 4.2 常见神经网络模型 4.2 常见神经网络模型 感知器的学习算法： 1、初始化：置权系数w为最小的随机数； 2、训练：输入一样本x＝(x1，x2，…，xn)以及它的期望输出y*； 3、计算实际输出： ； 4、计算误差： ； 5、修改权系数和阈值 ； 6、转2，直到误差满足要求。  4.2 常见神经网络模型 例：有一组训练向量，对单输出感知器有：X1=[-1，1，-2，0]T， X2=[-1，0，1.5，-0.5]T， X3=[-1，-1，1，0.5]T，设初始权值为Wi（0）= [0.5，1，-1，0]T,η=0.3，期望输出为Y1=0，Y2=0， Y3=1，试训练感知器网络。  4.2 常见神经网络模型 从感如器的学习算法可知，学习的目的是在于修改网络中的权系数，使网络对于所输入的模式样本能正确分类。当学习结束时，也即神经网络能正确分类时，显然权系数就反映了同类输人模式样本的共同特征。换句话讲，权系数就是存储了的输入模式。 由于权系数是分散存在的，故神经网络自然而然就有分布存储的特点。  4.2 常见神经网络模型 感知器实质是一个分类器，可以用于实现逻辑函数。 其分类条件是样本是线性可分的。 例：用感知器实现逻辑函数X1UX2的真值： ? 0 1 1 1 X1UX2 0 1 0 1 X2 0 0 1 1 X1 4.2 常见神经网络模型 以X1UX2 ＝1为A类，以X1UX2 =0为B类，则有方程组： ? 令 W1=1，W2=2，则有：θ≤1 取?θ=0.5，则有：X1+X2-0.5=0 4.2 常见神经网络模型 x1 x2 （0,0） （0,1） （1,0） （1,1） x1 x2 （0,0） （0,1） （1,0） （1,1） 逻辑与 逻辑或 逻辑异或 x1 x2 （0,0） （0,1） （1,0） （1,1） x1 x2 （0,0） （0,1） （1,0） （1,1） 4.2 常见神经网络模型 1986年，Rumelhart提出了一种利用误差反向传播（Back Propagation ）训练算法的神经网络，简称BP网络，是一种多层前向网络，其特征为： 1、由输入层、隐含层、输出层组成； 2、同层节点之间没有互连； 3、每层节点的输出只影响下层节点； 4、激励函数多为S型。 4.2 常见神经网络模型 BP网络的数学模型： 设有一个m层的神经网络，并在输入层加有样本X；第k层的i神经元的输入总和表示为Uik，输出Xik；从第k-1层的第j个神经元到第k层的第i个神经元的权系数为Wij，各神经元的激励函数为f，则各个变量的关系可