中科院_黄庆明_模式识别_考试试卷总结_国科大.pdf

模式试卷总结 一、模式 1.什么是模式：广义地说，存在于时间和空间中可观察的物体，如果我们可以区 别它们是否相同或是否相似，都可以称之为模式。 模式所指的不是事物本身，而是从事物获得的信息，因此，模式往往表现为具有 时间和空间分布的信息。 2.模式的直观特性：可观察性、可区分性、相似性 3.模式识别的分类：监督学习、概念驱动或归纳假说；非监督学习、数据驱动或 演绎假说。 4.模式分类的主要方法：数据聚类、统计分类、结构模式识别、神经网络。 二、人工神经网络 1.定义 所谓人工神经网络就是基于模仿生物大脑的结构和功能而构成的一种信息 处理系统（计算机）。这种网络依靠系统的复杂程度，通过调整内部大量节点之 间相互连接的关系，从而达到处理信息的目的。由于我们建立的信息处理系统实 际上是模仿生理神经网络，因此称它为人工神经网络。 2.特点 固有的并行结构和并行处理；知识的分布存储；容错性；自适应性；人工神 经网络也有其局限性（不适于高精度的计算、不适于类似顺序计数的工作、学习 和训练是一个艰难的过程、必须克服时间域顺序处理方面的困难、硬件限制、正 确的训练数据的收集）。 3.考虑因素 要基于应用的要求和人工神经网络模型的能力间的匹配，主要考虑因素包括： 网络大小、所需输出类型、联想记忆类型、训练方法、时间的限定。 4.BP 算法 是有指导训练的前馈多层网络训练算法，是靠调节各层的加权，使网络学会由输 入输出对组成的训练组。类似于感知器中线性单元和非线性单元的训练算法，执 行优化的基本方法仍是梯度下降法。BP 算法是使用非常广泛的一种算法，最常 用的转移函数是Sigmoid 函数。 推算过程 当加入第k 个输入时，隐蔽层h 结点的输入加权和为： k k sh  w ih x i i 相应点的输出： yk  F(sk )  F(w x k ) h h ih i i 同样，输出层j 结点的输入加权和为： sk w yk w F(w x k ) j hj h hj ih i h h i 相应点的输出： k k k k y F(s ) F(w y ) F[w F(w x )] j j hj h hj ih i h h i 这里，各结点的阈值等效为一个连接的加权θ= w 或w ,这些连 0h 0j 接由各结点连到具有固定值-1 的偏置结点，其连接加权也是可调 的，同其它加权一样参与调节过程。 误差函数为： 1 k k 2 1 k k 2 E(W )  (T j  y j )  {T j  F[whj F (wih xi )]}