第九讲神经网络秦中元东南大学信息科学与工程学院zyqin@.pptVIP

2009年东南大学硕士研究生课程模式识别(Pattern Recognition) 第九讲 神经网络 秦中元 东南大学信息科学与工程学院 zyqin@seu.edu.cn 上讲复习 特征提取的必要性 类别可分性测度(Class Separability Criteria) 离散K-L变换 使用K-L变换实现特征提取 K-L变换的其他应用 特征选择 K-L展开式系数的计算 求随机向量x的自相关矩阵R=E{xxt}。 求出自相关矩阵R的本征根 ?i和对应的本征向量 。得矩阵 展开式系数即为 a= ? tx x可以表示为 按K-L展开式选择特征 K-L展开式系数aj也就是变换后的特征，用yj表示，写成向量形式：y= ?Tx。此时变换矩阵?用m个特征向量组成。 为使误差最小，不采用的特征向量，其对应的特征值应尽可能小。因此，将特征值按大小次序标号，即 若首先采用前面的m个特征向量，便可使变换误差最小。此时的变换矩阵为 ? = (?1 ? 2 … ? m) 本讲内容 神经网络的引入 神经网络的基本概念 BP学习算法 感知器算法回顾 感知器算法属于线性分类器： 感知器算法可图示如下： McCulloch-Pitts神经元 典型的f为硬限幅函数(hard limiter)。 将求和和激励函数合并可表示为： 采用硬限幅函数的神经元称为McCulloch-Pitts神经元。 神经网络的引入—XOR运算 XOR运算是一个典型的非线性分类问题。 逻辑运算分类图 利用感知器对OR进行分类 以两条直线来划分XOR 问题相当于分成了两步： 1 确定两条分界线，每个分界线实现对平面的一个分类； 2 将第一步的结果组合起来，实现正确分类。 解决XOR分类的神经网络 XOR分类的分析 两层前馈神经网络 第1层神经元完成第1步的工作，称为隐含层； 第2层神经元称为输出层； 最前面还有输入层。输入层节点的个数？ 两层感知器的分类能力 前面隐含层的功能是把输入的模式进行一个映射，映射到二维空间单位长度正方形的顶点。 一般的两层感知器结构： 两层感知器的分类能力 对于A类: (000,001,011),B类: (010,100,110,111)的分类。 但是对于A类: (000,111,110),其余B类无法实现正确分类。 两层感知器的分类能力有限。 三层感知器的分类能力 三层感知器能够解决任意区域组合的分类问题。 神经网络的概念 神经网络是由大量简单的基本元件—神经元相互连接而成的自适应非线性动态系统。每个神经元的结构和功能比较简单，而大量神经元组合产生的系统行为却非常复杂。 经典的McCulloch-Pitts模型： 1943年提出，是神经网络研究的先驱。 50年代Rosenblatt提出感知器。 1982年Hopfield引入能量函数概念。 1986年Rumelhart和McClelland提出著名的BP (Back Propagation)算法。该算法由后向前修正各层之间的连接权值，从实践上证明了神经网络具有很强的运算能力。 神经网络的几个主要部分 神经元功能函数 硬限幅(hard limit)函数 Sigmoid函数 连接形式 前馈网络 反馈网络 学习算法 误差修正法 BP算法 注意： 不再采用硬限幅函数，而采用sigmoid函数 定义一个准则函数 迭代地调整权值，使得准则函数极小化 假定： 网络有L层； 训练样本对有N对。(y(i),x(i)) 某层的网络结构 BP算法过程 初始化。所有权值设为伪随机数。 前向计算。 反向计算 对于r=L，计算出 对于rL，计算出 权值更新 本讲到此结束，谢谢大家！ * *