BP神经网络探索.docxVIP

Harbin Institute of Technology实验报告课程名称：模式识别院系：电子与信息工程学院姓名：学号：授课教师：宿富林哈尔滨工业大学实验目的（1）掌握人工神经网络(artificial neutral network , ANN)的基本原理、结构及用途；（2）深入学习反向传播(back propagation , BP)神经网络的信息传递与处理模型、基本算法及其在模式识别中的应用；（3）构造不同样本修正算法的BP神经网络对实验数据根据要求进行分类，并对分类结果进行验证、分析。实验原理人工神经网络概述人工神经网络(Artificial Neural Networks，即ANN)是基于生物学中神经网络的基本原理，在理解和抽象了人脑结构和外界刺激响应机制后，以网络拓扑知识为理论基础，模拟人脑的神经系统对复杂信息的处理机制的一种数学模型。该模型以并行分布的处理能力、高容错性、智能化和自学习等能力为特征，将信息的加工和存储结合在一起，以其独特的知识表示方式和智能化的自适应学习能力，引起各学科领域的关注。它实际上是一个有大量简单元件相互连接而成的复杂网络，具有高度的非线性，能够进行复杂的逻辑操作和非线性关系实现的系统。人工神经网络的特点神经网络模型用于模拟人脑神经元的活动过程，其中包括对信息的加工、处理、存储、和搜索等过程。人工神经网络具有如下基本特点：(1) 高度的并行性；(2) 高度的非线性全局作用；(3) 联想记忆功能和良好的容错性；(4) 良好的自适应、自学习功能；(5) 知识的分布存储。人工神经网络是一种旨在模仿人脑结构及其功能的信息处理系统。因此，它在功能上具有某些智能特点：联想记忆功能；分类与识别功能；优化计算功能；非线性映射功能。正是神经网络所具有的这种学习和适应能力、自组织、非线性和运算高度并行的能力，解决了传统人工智能对于直觉处理方面的缺陷，例如对非结构化信息、语音模式识别等的处理，使之成功应用于神经专家系统、组合优化、智能控制、预测、模式识别等领域。人工神经网络的组织结构神经元1.?生物神经元的结构：神经细胞是构成神经系统的基本单元，称之为生物神经元，简称神经元，主要由四部分组成：胞体、轴突、树突和突触。典型神经元结构如图1所示。图1生物神经元结构神经元的信息传递和处理是一种电化学活动。树突由于电化学作用接受外界的刺激，通过胞体内的活动体现为轴突电位，当轴突电位达到一定的值则形成神经脉冲或动作电位；再通过轴突末梢传递给其它的神经元。神经元的功能特性：（1）时空整合功能；（2）神经元的动态极化性；（3）兴奋与抑制状态；（4）结构的可塑性；（5）脉冲与电位信号的转换；（6）突触延期和不应期；（7）学习、遗忘和疲劳。2. 人工神经元的结构：神经元是构成神经网络的最基本单元(构件)。它是一个多输入单输出的信息处理单元，而且，它对信息的处理是非线性的。一个n输入的神经元模型如图2所示。图2人工神经元模型神经元的输出表示为：（2-1）其中，神经元的输入向量表示为；神经元的权值向量表示为；神经元的阀值为；神经元的传递函数为；神经元的输出为。激活函数在神经网络中，网络解决问题的能力与效率除了与网络结构有关外，在很大程度上取决于网络所采用的激活函数。激活函数的选择对网络的收敛速度有较大的影响，针对不同的实际问题，激活函数的选择也应不同。通常我们会选取有界的、分段可微的函数作激活函数，常用的激活函数有以下几种形式：(1) 阈值函数：该函数通常也称为阶跃函数。当激活函数采用阶跃函数时，人工神经元模型即MP模型。此时神经元的输出取1或0，反应了神经元的兴奋或抑制。(2) 线性函数：该函数可以在输出结果为任意值时作为输出神经元的激活函数，但是当网络复杂时，线性激活函数大大降低网络的收敛性，故一般较少采用。(3) 对数S形函数：对数S形函数的输出介于0~1之间，常被要求为输出在0~1范围的信号选用。它是神经元中使用最为广泛的激活函数。(4) 双曲正切S形函数：双曲正切S形函数类似于被平滑的阶跃函数，形状与对数S形函数相同，以原点对称，其输出介于-1~1之间，常常被要求为输出在-1~1范围的信号选用。本次试验选取S型(Sigmoid )函数，如图3中，图（a）和图（b）。Sigmoid函数的特性：1）非线性，单调性。2）无限次可微。3）当权值很大时可近似阈值函数。当权值很小时可近似线性函数。(a) (b)图3人工神经网络激活函数示意图学习规则神经网络的学习规则是修正权值的一种算法，分为联想式和非联想式学习，有监督学习和无监督学习等。下面介绍几个常用的学习规则。(1)误差修正型规则：是一种有监督的学习方法，根据实际输出和期望输出的误差进行网络连接权值的修正，最