第11章人工神经网络.pptVIP

前馈网络:反向传播算法 1 正向计算输出 前馈网络:反向传播算法 2 计算实际输出和期望输出之间的误差 前馈网络:反向传播算法 3 计算梯度 前馈网络:反向传播算法 4 计算修改量 前馈网络:反向传播算法 4 δj的计算 如果节点j是输出单元 前馈网络:反向传播算法 4 δj的计算 如果节点j不输出单元 前馈网络:反向传播算法 4 f’(net k) 的计算 对于sigmoid函数 前馈网络:反向传播算法 4 修改量的惯性项 为了加快收敛速度，加上前一次的权值修正量 前馈网络:反向传播算法 达到全局最优 5 判断是否继续迭代还是结束 迭代次数最大 模 式 识 别 徐蔚然 北京邮电大学信息工程学院 11.1引言 研究模式识别与人工智能的两个方面 自顶向下：从实际的功能出发 自底向上：模拟人脑 人工神经网络与传统模式识别相同点 要解决的问题是相同的 人工神经网络的不同点 计算是体现在一种网络结构中实现的 网络结构中的参数是通过学习而逐渐修正的 引言 人工神经网络发展 1943年，心理学家McCulloch和数学家Pitts，形似神经元的数学模型； 1949年，心理学家D.O.Hebb，神经网络的学习准则，为神经网络的学习奠定了基础 20世纪50年代末，Rosenblatt，感知器模型 1969年，Minsky和Papert，《感知器》 进入低谷 引言 人工神经网络发展 1982年，Hopfield，神经网络的数学模型 能量函数概念，网络的动力学特性 电子线路实现这一网络方案 1986年，Rumelhart和LeCun，多层感知器的反向传播算法 引言 人工神经元网络方法 神经元网络的复兴与发展，它在信息领域，以及其它领域都得到广泛的应用 传统的模式识别方法 人工神经元网络方法解决模式识别问题 引言 学习目标 (1) 通过本章学习要掌握人工神经元网络实现各种计算功能的原理，及通过学习方法确定网络参数的原理 (2)典型的人工神经元网络结构：前馈网络 (3)了解误差回传算法的原理 11.2人工神经元 人工神经元网络的组成 基本组成部分: 结点和网络 11.2人工神经元 11.2人工神经元 结点 作为人工神经元网络的结点是仿照生物细胞结构而造出的 典型的结点模型是1940年提出的McCulloch-Pitts模型 人工神经元 结点 这种模型所实现的功能正是前面提到的线性分类器。 非线性的映射单元 人工神经元 结点 几十年来，结点模型变化不大 主要的变化是所使用的非线性映射函数 非线性映射函数:如S型，高斯型 S型函数 (0,1) (-1,1) Sigmoid函数 人工神经元 Sigmoid函数 人工神经元 S型函数好处 非线性 单调性 无限次可微 当权值很大时可近似阈值函数 当权值很小时可近似线性函数 使用哪一种非线性函数取决于具体的网络结构及应用 而使用McCulloch-Pitts模型只能实现二值的映射 人工神经元 人工神经网络：也就是结点之间的连接 人工神经元网络之所以能有许多复杂的功能，主要体现在将这些结点组合成网络 将执行最简单计算的结点组合起来，实现复杂的运算，这就是人工神经元网络最根本的特点 而之所以能将简单的运算组合成复杂的运算，最主要是一条是结点的运算中具有的非线性映射 有了结点运算的非线性映射，才使得人工神经元网络作为一个整体能实现复杂的非线性映射功能 能够实现任意复杂的函数 人工神经元 人工神经网络 人工神经元网络的成功体现在通过学习机制确定参数这一点 感知准则函数方法在人工神经元网络中就是单层感知器 学习确定网络各参数则成为人工神经元网络确定参数的最基本方法 神经网络为什么会实现复杂计算 感知器(perceptron) 感知器:感知准则函数方法设计的分类器 只能实现对两类样本的线性分类或者说他只能将特征空间用线性函数划分成两个区域 f(x)是x的一个线性函数 McCulloch-Pitts模型中的阈值函数，可以写成 人工神经元网络工作原理 复杂一些的判别函数 将特征空间划分成两个区域 两条射线组成的折线来划分 在折线的一边为y=1，在折线的另一边y=0 显然用一个神经元是不行 人工神经元网络工作原理 复杂一些的判别函数 整个空间将因这两个函数值的极性不同分成四个区域 y=0这个区域所具有的特点是 ?????与 ?????都小于零 需要增加一个逻辑运算才能解决问题 三个运算可以通过三个神经元结点 人工神经元网络工作原理 复杂一些的判别函数 Whereas a two-layer network classifier can only implement a linear decision bound