[管理学]人工神经网络71-72.pptVIP

人工神经网络 本章着重掌握亮点 1、神经网络模型的构造原理 2、如何应用神经网络模型进行学习和分类 讲解思路 1、介绍神经网络模型的算法思想和模型基本构造方法 2、结合实例介绍应用神经网络模型进行学习和分类 基本概念 人工神经网络（Artificial Neural Network，简称ANN），它是由简单计算单元（单个神经元结构简单，功能有限，但由大量神经元组成的网络却可以实现强大的功能）组成的广泛并行互联的网络，能够模拟生物神经网络的结构和功能，进行分布式并行信息处理的算法数学模型。 人工神经网络通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。 人工神经网络具有自学习和自适应的能力，可以通过预先提供的一批相互对应的输入－输出数据，分析掌握两者之间潜在的规律，最终根据这些规律，用新的输入数据来推算输出结果，这种学习分析的过程被称为“训练”。 人工神经网络具有四个基本特征： （1）非线性 人工神经元处于激活或抑制二种不同的状态，这种行为在数学上表现为一种非线性具有阈值的神经元构成的网络具有更好的性能，可以提高容错性和存储容量。 　　（2）非局限性 一个神经网络的整体行为不仅取决于单个神经元的特征，而且可能主要由单元之间的相互作用、相互连接所决定。联想记忆是非局限性的典型例子。 　　（3）非常定性 人工神经网络具有自适应、自组织、自学习能力。神经网络不但处理的信息可以有各种变化，而且在处理信息的同时，非线性动力系统本身也在不断变化。经常采用迭代过程描写动力系统的演化过程。 　　（4）非凸性 一个系统的演化方向，在一定条件下将取决于某个特定的状态函数。例如能量函数，它的极值相应于系统比较稳定的状态。非凸性是指这种函数有多个极值，故系统具有多个较稳定的平衡态，这将导致系统演化的多样性。 神经元处理单元 人工神经网络中，神经元处理单元可表示不同的对象，例如特征、字母、概念，或者一些有意义的抽象模式。网络中处理单元的类型分为三类：输入单元、输出单元和隐单元。输入单元接受外部世界的信号与数据；输出单元实现系统处理结果的输出；隐单元是处在输入和输出单元之间，不能由系统外部观察的单元。神经元间的连接权值反映了单元间的连接强度，信息的表示和处理体现在网络处理单元的连接关系中。 神经元模型 　a. 突触权值 　　　b .加法器—净激活 　　　c. 激活函数 人工神经网络模型 人工神经网络模型主要考虑网络连接的拓扑结构、神经元的特征、学习规则等。目前，已有近40种神经网络模型，其中比较典型的有前向神经网络BP算法、离散Hopfield神经网络和连续Hopfield神经网络模型、Boltzmann机、自组织特征映射（SOM）神经网络模型等。 7.1人工神经元及人工神经网络模型 7.1.1M-P模型 7.1.2 人工神经元的形式化描述 常用的神经元状态转移函数（课本148页）： 1、阶跃函数 2、准线性函数 3、Sigmold函数 4、双曲正切函数 7.1.3神经网络的分类 1、按网络性能可分为连续型和离散型网络，确定型与随机型网络。 2、按拓扑结构可分为：前向神经网络（网络中各个神经元接受前一级的输入，并输出到下一级，网络中没有反馈，例如反传网络是一种典型的前向网络。）与反馈神经网络（网络内神经元间有反馈，例如Hopfield网络等）。 7.1.4人工神经网络的学习方式 神经网络的学习过程指网络权值的调整。 主要的学习方式有： 1、死记式学习。网络连接权值不变，如Hopfield网络在作联想记忆和优化计算时采用了死记式学习。 2、有监督学习。将训练样本的数据加到网络输入端，将实际输出与期望输出比较，得到误差信号，反复多次调整连接权值使误差函数值最小，经多次训练后收敛到一个确定的权值。当样本情况发生变化时，经学习可以修改权值以适应新的环境。如反传网络、感知器等。 3、无监督学习。事先不给定标准样本，直接将网络置于环境之中，学习阶段与工作阶段成为一体。此时，学习规律的变化服从连接权值的演变方程。网络的学习是自我调整的过程。非监督学习最简单的例子是Hebb学习规则。竞争学习规则是一个更复杂的非监督学习的例子，它是根据已建立的聚类进行权值调整。自组织映射、适应谐振理论网络等都是与竞争学习有关的典型模型。 4、有监督与无监督的混合学习。首先采用无监督学习抽取输入模式的特征，然后利用有监督学习方式对其进行处理，形成输入输出的某种映射。 在以上学习方式中，常用的人工神经网络学习规则主要有Hebb学习规则，δ学习规则，模拟退火算法，梯度下降算法等。 7.2 前向神经网络 7.2.1感知器 单层感知器