课件第5 2章人工神经网络.pdfVIP

模 式 识 别 徐蔚然 邮电大学 工程学院 11.1引言 ◼ 研究模式识别与人工智能的两个方面 ◼ 自顶向下：从实际的功能出发 ◼ 自底向上：模拟人脑 ◼ 人工神经网络与传统模式识别相同点 ◼ 要解决的问题是相同的 ◼ 人工神经网络的不同点 ◼ 计算是体现在一种网络结构中实现的 ◼ 网络结构中的参数是通过学习而逐渐修正 的 引言 ◼ 人工神经网络发展 ◼ 1943年，心理学家McCulloch和数学家Pitts， 形似神经元的数学模型； ◼ ，心理学家D.O.Hebb，神经网络的 学习准则，为神经网络的学习奠定了基础 ◼ 20世纪50年代末，Rosenblatt，感知器模型 ◼ 1969年，Minsky和Papert， 《感知器》 ◼ 进入低谷 引言 ◼ 人工神经网络发展 ◼ 1982年，Hopfield，神经网络的数学模型 ◼ 能量函数概念，网络的动力学特性 ◼ 电子线路实现这一网络方案 ◼ 1986年，Rumelhart和LeCun，多层感知器 的反向传播算法 引言 ◼ 人工神经元网络方法 ◼ 神经元网络的复兴与发展，它在 领域， 以及其它领域都得到广泛的应用 ◼ 传统的模式识别方法 ◼ 人工神经元网络方法解决模式识别问题 引言 ◼ 学习目标 ◼ (1) 通过本章学习要掌握人工神经元网络实 现各种计算功能的原理，及通过学习方法确 定网络参数的原理 ◼ (2)典型的人工神经元网络结构：前馈网络 ◼ (3)了解误差回传算法的原理 11.2人工神经元 ◼ 人工神经元网络的组成 ◼ 基本组成部分: ◼ 结点和网络 11.2人工神经元 11.2人工神经元 ◼ 结点 ◼ 作为人工神经元网络的结点是仿照生物细胞 结构而造出的 ◼ 典型的结点模型是1940年提出的McCulloch- Pitts模型 人工神经元 ◼ 结点 非线性的映射单元 这种模型所实现的功能正是前面提到的线性分类器。 人工神经元 ◼ 结点 ◼ 几十年来，结点模型变化不大 ◼ 主要的变化是所使用的非线性映射函数 ◼ 非线性映射函数:如S型，高斯型 ◼ S型函数 (0,1) (-1,1) Sigmoid函数 人工神经元 Sigmoid函数 人工神经元 ◼ S型函数好处 ◼ 非线性 ◼ 单调性 ◼ 无限次可微 ◼ 当权值很大时可近似阈值函数 ◼ 当权值很小时可近似线性函数 而使用McCulloch-Pitts模型只能实现二值的映射 使用哪一种非线性函数取决于具体的网络结构及应用 人工神经元 ◼ 人工神经网络：也就是结点之间的连接 ◼ 人工神经元网络之所以能有许多复杂的功 能，主要体现在将这些结点组合成网络 ◼ 将执行最简单计算的结点组合起来，实现复杂 的运算，这就是人工神经元网络最根本的特点 ◼ 而之所以能将简单的运算组合成复杂的运算，