模式识别课程讲义（李君宝）9. 人工神经网络-2学时.pptVIP

本章结束 用于分类： 输入x——样本特征向量（必要时归一化） 输出Y ——类别编码 其它应用：函数拟合、时间序列预测、数据压缩，…… MLP网络也常称作BP 网。 BP 算法： 4.自组织映射 自组织映射Self-Organizing Map 亦称SOFM。 Kohonen 提出（1980s） 神经系统的自组织功能 生物学研究的事实表明，在人脑的感觉通道上，神经元的组织原理是有序排列。因此当人脑通过感官接受外界的特定时空信息时，大脑皮层的特定区域兴奋，而且类似的外界信息在对应区域是连续映象。 对于某一图形或某一频率的特定兴奋过程，神经元的有序排列以及对外界信息的连续映象是自组织特征映射网中竞争机制生物学基础。 SOM 网结构 神经元呈平面分布(或其它空间分布)输入向量的每一维连接到每个结点结点间依分布位置关系而有相互作用 神经元计算特性：向量匹配，与输入向量最佳匹配者称winner(计算距离或内积) (最大响应) * 竞争层 输入层 SOM神经网络结构 自组织特征映射神经网络结构 由芬兰学者Teuvo Kohonen于1981年提出 基本上为输入层和映射层的双层结构,映射层的神经元互相连接，每个输出神经元连接至所有输入神经元 SOM网共有两层，输入层模拟感知外界输入信息的视网膜，输出层模拟做出响应的大脑皮层。 SOM 特性 经过适当训练后，结点对输入的响应表现出一定的规律性，这些规律性 反映了输入样本集内部的一些特性（样本分布密度及样本间拓扑关系）。 几个名词： 象： 随着不断学习，对于某个输入向量，对应的winner 结点令逐步趋于固定，这个结点称作该样本的象。 原象：若向量x 的象为结点i ，则x 为i 的一个原象。 象密度：同一结点上原象的数目，即有多少样本映射到该结点。 象密度图：按结点位置把象密度(相对值)画到一张图上。 SOM神经网络平面示意图 竞争层 输入层 SOM 特性 自组织特性： （1）在经过充分的学习之后，对用于学习的样本集，每个样本有且只有一个象（固定映射到某一结点），但一个结点可能有多个原象（也可能没有）。 （2）在原空间中距离相近的样本趋于映射到相同或相近的象。 （3）结点象密度与其原象附近原空间中的样本密度有某种单调关系。 SOM 特性 当引入邻域相互作用后，出现自组织现象。 SOM 学习算法 SOM 用于模式识别的作法 Kohonen 芬兰语语音识别 ① 用一批（有代表性）的样本训练SOM，（自学习）使之出现自组织特性，（形成对输入空间的映射）； ② 用一批类别已知的样本（可以与训练样本集相同）去标定在SOM 上的象，完成对各结点的分类； ③ 输入待识别样本，计算其象结点位置，用象类别标号确定样本类别 思路类似于先作向量量化（聚类），用较少的代表点（子类）代表原样本空间，把这些代表点进行分类。 ——LVQ（学习向量量化） 与普通向量量化（C均值聚类）的不同：所得到的代表点本身是有序的，且保持了所代表的子集在原空间中相对关系。 SOM 用于非监督模式识别 自组织学习过程本身就是一个非监督学习过程SOMA(自组织分析) 基本思路： 用未知样本集训练SOM; 计算象密度图; 根据象密度图划分聚类(把结点代表的小聚类合并)。 特点： 对数据分布形状少依赖性；可反映真实存在的聚类数目，尤其适合人机合作分析(高维数据的有效二维显示) 数学上待研究的问题多： 象密度与样本分布密度之间的关系？ 拓扑保持特性？ 如何在SOM 平面上聚类？ 5.深度神经网络学习 浅层学习 20世纪80年代末期，由于人工神经网络的反向传播算法（BP算法）的发明，给机器学习带来了希望，掀起了基于统计模型的机器学习热潮。 20世纪90年代，各种各样的浅层机器学习模型相继被提出，例如支持向量机（SVM）、 Boosting、最大熵方法（LR）等。 * 深度神经网络学习 从机器学习的模型结构层次来分，机器学习经历了两次浪潮： 1、浅层学习（Shallow Learning）：机器学习第一次浪潮 2、深度学习（Deep Learning）：机器学习第二次浪潮 深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。 深度学习采用了神经网络相似的分层结构，系统由包括输入层、隐层（多层）、输出层组成的多层网络，只有相邻层节点之间有连接，同一层以及跨层节点之间相互无连接；这种分层结构，是比较接近人类大脑的结构的。 深度神经网络学习 深度学习 2006年，加拿大多伦多大学教授、机器学习领域的泰斗Geoffrey Hinton等在《Science》上发