哈工大智能控制神经网络课件第二课感知机与BP网络.pptVIP

人工神经网络理论及应用 屈桢深 哈尔滨工业大学 神经元数学模型 神经元数学模型：向量描述 神经元数学模型——作用函数 神经元数学模型——作用函数 3．对称型阶跃函数 神经网络(前馈式)结构 单个神经元 单层神经元 多层神经元: 输入层，输出层，隐含层 学习过程就是调整权值的过程。 包含感知层，连接层和反应层。 单层感知器 用于两类模式分类时 相当于在高维样本空间中，用一个超平面将两类样本分开。 已证明 若输入的两类模式是线性可分集合（指存在一个超平面能将其分开），则算法一定收敛。 局限性 若输入模式为线性不可分集合，网络的学习算法不收敛，不能进行正确分类。 线性可分集合(1) 使用单个感知器分类线性可分集合(1) 三维空间上的两类模式，见表 使用单个感知器分类线性可分集合(2) 线性不可分集合 多层感知器 多层感知器(续) 三层感知器解决异或问题 三层感知器可识别任一凸多边形或无界的凸区域。更多层感知器网络，可识别更为复杂的图形。 多层前馈网络与BP学习算法 　多层前馈网络的反向传播 （BP）学习算法，简称BP算法，是有导师的学习，它是梯度下降法在多层前馈网中的应用。 网络结构 　　　见图，u、y是网络的输入、输出向量，神经元用节点表示，网络由输入层、隐层和输出层节点组成，隐层可一层，也可多层（图中是单隐层），前层至后层节点通过权联接。由于用BP学习算法，所以常称BP神经网络。 　 BP学习算法 已知网络的输入/输出样本，即导师信号。 BP学习算法由正向传播和反向传播组成： 正向传播是输入信号从输入层经隐层，传向输出层，若输出层得到了期望的输出，则学习算法结束；否则，转至反向传播。 反向传播是将误差(样本输出与网络输出之差）按原联接通路反向计算，由梯度下降法调整各层节点的权值和阈值，使误差减小。 BP学习算法基本思想 设算法的输入输出样本(导师信号)为 {u1,t1}, {u2,t2},…{uQ,tQ} 即共Q个样本。或记为{uq,tq}, q=1,…Q 网络训练的目的，是使对每一个输入样本，调整网络参数，使输出均方误差最小化。 BP学习算法基本思想(续) 考虑迭代算法，设初始权值为w0, k时刻权值为wk, 则使用泰勒级数展开，有： 问题：如何选择 ，使J最小？ BP学习算法步骤 设置初始权系数w0为较小的随机非零值； 给定输入/输出样本对，计算网络输出, 完成前向传播 计算目标函数J。如Jε, 训练成功，退出；否则转入④ 反向传播计算 由输出层，按梯度下降法将误差反向传播，逐层调整权值。 BP学习算法步骤：推导准备 所有加黑斜体表示向量；非黑体为标量； 左上角数字表示层数； BP网络输入u为n维，输出为m维； 为方便观察，有时相乘关系用.表示； BP学习步骤：误差反传(输出层) BP学习步骤：误差反传(隐含层) BP学习步骤：误差反传(隐含层) BP学习步骤：误差反传(隐含层) 演示 　　　　　 BP算法演示 BP学习算法评述 优点 学习完全自主； 可逼近任意非线性函数； BP学习算法评述 缺点 算法非全局收敛； 收敛速度慢； 学习速率α选择； 神经网络如何设计(几层？节点数？) 注意到2wij仅和yi (ei)有关， 因此， 根据Log Sigmoid函数性质 注意到1wij仅和1yi有关 1y … 1 w un ym y1 2w … … u1 以 为例说明求法。由 表达式(见前向传播)，可见 代入上式，有 因此 即误差进行反向传输 综合上述结果 对比Hebb规则 如遇到隐含层多于1层，可依次类推 * * 2. 感知机与BP网络 主要内容 神经元数学模型 感知器 多层前馈网络与BP算法※ BP算法评述 图2-2-2 MP神经元模型 （a） 输入有时也记为u 优点：1. 无限次可微；2. 导数形式简单※ 神经元数学模型——作用函数 u1 u2 1y1 1 w 1y2 2w y 三层神经元 Hebb规则 感知器(感知机) 感知层：接受二值输入； 连接层：根据学习规则不断调整权值 输出层：取为对称型阶跃函数 原始感知器由单个神经元组成，改进模型可由单层或多层神经元构成。 单层感知器学习算法 二维平面上的两类模式，见表。 u3 u1 u2 线性可分集合(2) 可引伸到n3维空间上的线性可分集合，一定可找到一超平面，将输入模式分为两类。由n输入/单输出的单层感知器实现。 二维平面上的两类模式——异或（XOR）问题，见表。 二维平面中不存在一条直线，将输入模式分为两类，此输入模式称线性不可分集合. 可见：单层感知