3神经网络汇编.ppt

人工神经网络 人工神经元是组成人工神经网络的基本处理单元，简称为神经元。 心理学家麦克洛奇(W．McCulloch)和数理逻辑学家皮兹(W.Pitts)于1943年首先提出了一个简化的神经元模型，称为M-P模型 。 人工神经元 决定神经网络性质的两个因素 网络的拓扑结构 网络的权值、工作规则 1、前向网络：神经元分层排列，分别组成输入层、中间层和输出层。每一层神经元只接收来自前一层神经元的输入。输入信息经各层变换后，最终在输出层输出。 神经网络的结构 2、反馈网络：这种网络与上一种网络的区别仅仅在于，输出层上的某些输出信息又作为输入信息送入到输入层的神经元上。 神经网络的结构 3、 层内有互连的网络：同一层上的神经元可以互相作用。 神经网络的结构 4、互连网络：在这种网络中，任意两个神经元之间都可以有连接。在该网络中，信息可以在神经元之间反复往返地传递，网络一直处在一种改变状态的动态变化之中。 神经网络的结构 人工神经元及感知机模型 感知机(perceptron)模型：仅有一个神经元，无隐层 单层感知器：只有一个计算层，它以信号模板作为输入，经计算后汇总输出，层内无互连，从输出至输入无反馈，是一种典型的前馈网络。 人工神经元及感知机模型 人工神经元及感知机模型 神经元由输入向量uj和单个输出yi组成。wij表示连接第j个输入的权向量; bi表示一个偏置常数。 人工神经元及感知机模型 计算输出信号的规则（激励函数）： 阈值函数 sigmoid函数 人工神经元及感知机模型 例 1、Si = 0.7×(-0.3) + 0.1 × 3.1 + 0.3 × 0.5 = 0.25 2、利用阈值函数计算输出、得： yi = f(0.25) = 1 决定神经网络性质的两个因素 网络的拓扑结构（节点怎样安排） 网络权值、工作规则（如何选择权值和激励函数） 神经网络的学习问题就是 网络权值的调整问题 神经网络的学习算法 感知器学习算法： 初始化：将权值向量（偏置）赋予随机值，t=0(迭代次数) 连接权的修正：对每个输入样本xk及期望输出dk完成如下计算 计算网络输出：y = f(S)，其中S =∑wixi，f为激活函数 计算输出层单元期望输出dk与实际输出y间的误差： ek = dk - y 若ek为零，则说明当前样本输出正确，不必更新权值，否则更新权值： w(t+1) = w(t) + α×ek ×xk t = t + 1 0α1为学习率。 对所有的输入样本重复步骤(2)，直到所有的样本输出正确为止 感知器学习规则 与Xi对应的期待输出： d1=-1, d2=-1, d3=1 一组输入训练样本： 感知器学习规则 3、学习率： α= 0.1 1、初始权向量： y = sgn(s) 1， s≥0 － 1， s＜0 2、激励函数： 感知器学习规则 感知器的学习过程如下： 第一步 输入X1，（对应的期待输出是d1 ） S = W1TX1 = 2.5 因为，y1 = sgn(2.5) = 1≠d1，所以权修正是必要的 W2=W1 + 0.1 ×(-1-1) × X1 感知器学习规则 感知器的学习过程如下（续）： 第二步 输入X2，（对应的期待输出是d2 ） S=W2TX2 = -1.6 因为，y1 = sgn(-1.6) = -1 = d2，所以权修正是不必要的 感知器学习规则 感知器的学习过程如下（续）： 第三步 输入X3，（对应的期待输出是d3 ） S=W3TX3 = -2.1 因为，y3 = sgn(-2.1) = -1≠d3，所以权修正是必要的 W4=W3+0.1 ×(1+1) × X3 神经网络的学习方法 神经网络的学习问题就是网络的权值调整问题。 神经网络的连接权值的确定一般有两种方式： 通过设计计算确定，即死记忆学习 网络按一定的规则通过学习（训练）得到 反向传播（BP）学习 反向传播算法将学习分为两个阶段： 从输入层到输出层的正向传播 从输出层到输入层的反向传播 在学习期间，除了误差值通过网络传回以确定如何修改权外，反向传播与正向传播是类似的。 反向传播（BP）学习 反向传播的训练过程： while not STOP STOP=TRUE for 每个输入样本 执行正向传播找出实际的输出 通过比较实际输出与期待输出获得误差向量 if 实际输出不在允许集内 STOP=FALSE