人工神经网络概述剖析.ppt

人工神经网络概述 谢全献 内容 1、神经网络的基本概念 2、感知器与BP网络 3、例子：BP神经网络优化化学反应条件 1 神经网络的基本概念 以数学和物理方法以及信息处理的角度对人脑神经网络进行抽象，并建立某种简化模型，就称为人工神经网络（Artificial Neural Network，缩写 ANN）。 T.Koholen的定义：“人工神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。 1.1 人工神经网络的定义 美国神经网络学者Nielsen的定义 人工神经网络是一个并行、分布处理结构，它由处理单元及其称为联接的无向讯号通道互连而成。 这些处理单元具有局部内存，可以完成局部操作，即它必须仅仅依赖于经过输入联接到达处理单元的所有输入信号的当前值和存储在处理单元局部内存中的值。 每个处理单元有一个单一的输出联接，输出信号可以是任何需要的数学模型。 1.2 神经网络的基本特征和应用 结构特征：并行处理 分布式存储 容错性 能力特征：自学习 自组织 自适应性 1.2 神经网络的基本特征和应用 在各个行业均有应用，擅长的有： 模式识别 人工智能 控制工程 优化分析和联想记忆 信号处理 1.3 生物神经网络 人类的大脑大约有1.4?1011个神经细胞（神经元）。每个神经元有数以千计的通道同其它神经元广泛相互连接，形成复杂的生物神经网络。 1.3 生物神经网络 生物神经元结构 细胞体：处理 树突： 输入 轴突： 输出 突触： 接口 1.3 生物神经网络 生物神经元状态 静息 极化 兴奋 去极化 抑制 超极化 兴奋与抑制： 当传入神经元的冲动，经整和，使细胞膜电位升高，超过动作电位的阈值时，为兴奋状态，产生神经冲动，由轴突经神经末稍传出。 当传入神经元的冲动，经整和，使细胞膜电位降低，低于阈值时，为抑制状态，不产生神经冲 学习与遗忘： 　　　 由于神经元结构的可塑性，突触的传递作用可增强与减弱，因此，神经元具有学习与遗忘的功能。 1.4 人工神经元模型 人工神经元模型 心理学家McCulloch和数学家W.Pitts提出的M-P模型 1.4 人工神经元模型 常用的转移函数（激发函数） （1）阈值型转移函数 （硬限幅函数） 1.4 人工神经元模型 （2）非线性转移函数 单极性Sigmoid函数 双极性Sigmoid函数 1.4 人工神经元模型 （3）分段线性转移函数 1.5 人工神经网络模型 根据连接关系分类 层次型结构 互联型结构 根据信息流向分类 前馈型网络 反馈型网络 1.5 人工神经网络的学习 网络运行一般分为训练阶段和工作阶段。训练的目的是为了从训练的数据中提取隐含的知识和规律，并存储于网络中供工作阶段使用。 神经网络能够通过对样本的学习训练，不断改变网络的连接权值以及拓扑结构，以使网络的输出不断地接近期望的输出。这一过程称为神经网络的学习或训练，其本质是可变权值的动态调整。 1.5 人工神经网络的学习 （1）有导师学习（有监督学习） 在学习过程中，网络根据实际输出与期望输出的比较，进行联接权系的调整，将期望输出称导师信号是评价学习的标准。 1.5 人工神经网络的学习 （2）无导师学习（无监督学习） 无导师信号提供给网络，网络能根据 　其特有的结构和学习规则，进行联接权系数的调整，此时，网络的学习评价标准隐含于其内部 1.5 人工神经网络的学习 （3）再励学习（强化学习） 把学习看为试探评价过程，学习机制选择一个输出作用于环境，环境的状态改变，并产生再励信号反馈至学习机，学习机依据再励信号与环境当前的状态，再选择下一个输出作用于环境，选择的原则是使受到奖励的可能性增大 1.6 常用的神经网络 常用的前向神经网络 感知器 BP网络（误差向后传播神经网络） 径向基函数网络（RBF神经网络） 常用的反馈神经网络 Hopfield网络 Boltzmann机网络 Kohonen网络（自组织特征映射模型） 2 感知器与BP网络2.1 感知器 基本感知器 是一个具有单层计算神经元的两层网络。 只能对线性可分输入矢量进行分类。 n个输入向量x1,x2, …, xn 均为实数，w1i，w2i,…,wni 分别