模式识别第十一章人工神经网络刘洋.pptVIP

神经网络与贝叶斯分类器 神经网络与贝叶斯分类器 THANK YOU 广东省医学图像处理重点实验室 南方医科大学医学信息研究所 Guangdong Laboratory of Medical Image Processing Institute of Medical Information, Southern Medical University 第*页 广东省医学图像处理重点实验室 南方医科大学医学信息研究所 Guangdong Laboratory of Medical Image Processing Institute of Medical Information, Southern Medical University 第*页 第十一章 人工神经网络 刘 洋 2013/06/04 模式识别与神经网络Pattern Recognition and Neural Network 内容目录 第十一章 人工神经网络 11.1 引 言 11.2 人工神经元 11.3 前馈神经网络及其主要算法 11.3.3 三层前馈网络 11.3.4 反向传播算法（BP法） 11.3.5 径向基函数网络 11.4 竞争学习和侧抑制 11.5 前馈神经网络与模式识别 模式识别与神经网络 11.3前馈神经网络及其主要算法 11.3.3 三层前馈网络 前馈网络 11.3.3 三层前馈网络 任何逻辑函数可由三层前馈网络实现 当神经元的输出函数为Sigmoid等函数时，两层前馈网络可以逼近任意的多元非线性函数 MLP(Multi-Layer Perceptron)的适用范围大大超过单层网络 前馈网络 11.3.4 反向传播算法（BP法） 反向传播算法：从后向前（反向）逐层“传播”输出层的误差，以间接算出隐层误差。分两个阶段： 正向过程：从输入层经隐层逐层正向计算各单元的输出 反向过程：由输出层误差逐层反向计算隐层各单元的误差，并用此误差修正前层的权值 前馈网络 正向过程 正向过程: 前馈网络 梯度下降(gradient decent)法 * 准则函数: sum squared error, SSE 权值修正: 梯度下降法 前馈网络 Case 1: 输出层权值修正 前馈网络 对于sigmoid函数: 局部梯度 扩展delta学习规则 Case 2:隐层权值修正 前馈网络 后层的全部单元都受nj的影响 i wji nj aj ni δj wji δi BP算法的步骤 初始值选择 前向计算，求出所有神经元的输出 对输出层计算δ 从后向前计算各隐层δ 计算并保存各权值修正量： 修正权值： 判断是否收敛，如果收敛则结束，不收敛则转至Step 2 前馈网络 已知的两类蚊子的数据如下： 翼长 触角长 类别 1.78 1.14 Apf 1.96 1.18 Apf 1.86 1.20 Apf 1.72 1.24 Af 2.00 1.26 Apf 2.00 1.28 Apf 1.96 1.30 Apf 1.74 1.36 Af 目标值 0.9 0.9 0.9 0.1 0.9 0.9 0.9 0.1 翼长 触角长 类别 1.64 1.38 Af 1.82 1.38 Af 1.90 1.38 Af 1.70 1.40 Af 1.82 1.48 Af 1.82 1.54 Af 2.08 1.56 Af 目标值 0.1 0.1 0.1 0.1 0.1 0.1 0.1 BP神经网络应用实例 输入数据有15个，即 , p=1,…,15; j=1, 2; 对应15个输出。 建模：（输入层，中间层，输出层，每层的元素应取多少个？） 建立神经网络 前馈网络 规定目标为： 当t(1)=0.9 时表示属于Apf类，t(2)=0.1表示属于Af类。 设两个权重系数矩阵为： 为阈值 其中 前馈网络 分析如下： 为第一层的输出，同时作为第二层的输入。 其中， 为阈值， 为激励函数 若令 （作为一固定输入） （阈值作为固定输入神经元相应的权系数） 前馈网络 则有： 取激励函数为 = 则 同样，取 前馈网络 （1）随机给出两个权矩阵的初值；例如用MATLAB软件时