Chapter9模式识别--神经网络.ppt

神经网络概述 BP神经网络 神经网络方法应用举例 什么是人工神经网络? 所谓人工神经网络(Artificial Neural Netwroks—ANN)就是基于模仿生物大脑的结构和功能而构成的一种计算机信息处理系统。 长期以来，许多科学家一直致力于人脑内部结构和功能的探讨和研究，并试图建立模仿人类大脑的计算机，虽然到目前对大脑的内部工作机理还不甚完全清楚，但对其结构已有所了解。 每个神经元可看作是一个小的处理单元，这些神经元按某种方式连接起来，形成大脑内部的生理神经元网络。 这种神经元网络中各神经元之间联结的强弱，按外部的激励信号做自适应变化，而每个神经元又随着所接收到的多个接收信号的综合大小而呈现兴奋或抑制状态。 现已明确大脑的学习过程就是神经元之间连接强度随外部激励信息做自适应变化的过程，而大脑处理信息的结果则由神经元的状态表现出来。 按美国神经网络学者T.Koholen 的定义： “人工神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。” 在人工神经网络中，操作既不是串行的，也不是预先确定的，它根本没有确定的存储器，而是由许多互连的简单处理单元组成。 每个处理单元的处理功能只是求其所有输入信号的加权和，当该和值超过某一阈值时，输出呈现兴奋状态（高电平），否则低于阈值时呈现抑制状态（低电平）。 人工神经网络当它达到某种平衡状态后，网络的整个状态就是所求的结果。 人工神经网络的学习方法 ?人工神经网络的工作过程 ?自适应性 人工神经网络也具有学习能力 有指导的训练：将输入样本加到网络输入并给出相应的输出，通过多次训练迭代获得连接权值。 好像告诉网络：“当你看到这个图形（比如5）时，请给我指示5”。 无指导的训练：网络通过训练自行调节连接加权，从而对输入样本分类。 在网络训练时，有时只能给出大量的输入图形，没有指定它们的输出，网络就自行按输入图形的特征对它们进行分类。 如小孩通过大量观察可以分辨出哪是狗、哪是猫一样。 综合推理的能力：网络具有正确响应和分辨从未见过的输入样本的能力。 ?硬件限制 目前仍是在一般计算机上用模拟的方法研究人工神经网络的并行处理过程，然而模拟不是最终目标。 只有真正的并行硬件处理，才能体现出人工神经网络的高速高效特点。 目前这种硬件的实现还未很好解决。 ?正确的训练数据的收集 大量有代表性样本的采集 正确的预处理 总之，人工神经网络是基于人类大脑的结构和功能建立起来的学科，尽管它只是大脑的低级近似，但它的许多特点和人类的智能特点类似，有着较强的识别能力和广泛的应用前景。 ? 人工神经元的基本结构 激活函数(Activation Function) 激活函数——执行对该神经元所获得的网络输入的变换，也称为激励函数或活化函数： Oj = f（netj） 典型激活函数 阈值函数： ? 典型网络结构 多级网 ? 神经网络的学习方法 神经网络的学习：从环境中获取知识并改进自身性能，主要指调节网络参数使网络达到某种度量的能力，又称为网络的训练 学习方式： 监督学习 非监督学习 再励学习 学习规则(learning rule)： 误差纠正学习算法 竞争学习算法 Hebb学习算法 监督学习 对训练样本集中的每一组输入能提供一组目标输出 网络根据目标输出与实际输出的误差信号来调节网络参数 非监督学习 非监督学习：不存在教师，网络根据外部数据的统计规律来调节系统参数，以使网络输出能反映数据的某种特性 二、 BP神经网络 BP (Back Propagation)神经网络是一种神经网络学习算法，全称“基于误差反向传播算法的人工神经网络”。 BP网络的结构设计方法 BP 网络是一种分层型网络，具有输入层、隐含层和输出层的三层结构。对于一个 BP 网络，隐含层可以有两个以上，而具有一个中间层的 BP 网络则是一种基本的 BP 网络模型。 输入层、输出层的节点数、网络隐藏层的层数和各个隐藏层神经元的个数如何决定？ ?反向传播(BP)算法 BP网络的学习过程 正向传播： 输入样本－－－输入层－－－各隐层－－－输出层 判断是否转入反向传播阶段： 若输出层的实际输出与期望的输出（教师信号）不符 误差反传 修正各层单元的权值 网络输出的误差减少到可接受的程度 进行到预先设定的学习次数为止 输入层、隐含层、输出层结点数目的确定，输入层结点数目一般与待分类图像的数据维数或特征向量的个数相同，输出层结点数目则与待分的类别数目相同，隐含层结点数目的个数选取则一般依据经验选取。 样本数据中的输入模式一般是图像上各个类别典型区域的灰度值或其他特征值，输出模式则是一个二值向量，相应类别的值为1，其他类别的值