张铃人工神经网络书稿目录.doc

人工神经网络的学习与综合方法 目录 第一节 引言 神经网络基于搜索机制的学习与综合算法 2.1前向神经网络的BP算法 2.1.1 前向神经网络 2.1.2 BP算法 2.1.3.BP算法的优缺点 BP算法的贡献 BP算法的不足 2.2.BP算法的各种改进 神经网络学习的规划方法 3.1 网络规划学习方法 3.1.1.自反馈网络的规划学习方法 3.1.2.前向网络的规划学习方法 学习问题1 学习问题2 学习问题3 3.2 支持向量机规划方法 学习问题4 学习问题5 学习问题6 3.3. 规划问题无解的情况 学习问题2’ 学习问题4’ 学习问题5’ 构造性学习方法 4.1 前向网络的FP学习方法 4.1.1. 通用分类器的设计 4.1.1.1. FP网络简介 4.1.1.2 FP网络的基本性质 4.1.2 聚类器的设计 4.1.2.1 变阈值的M-P神经元 4.1.2.2 聚类器的结构 4.1.2.3网络运行的分析 4.2.构造性学习方法----覆盖算法 4.2.1 M-P神经元的几何意义 4.3.1.1超平面表示 4.3.1.2球型领域表示 4.2.2神经元的几何意义的应用 4.2.2.1覆盖算法 简单覆盖算法 交叉覆盖算法 4.3覆盖方法的应用 4.3.1三层前向神经网络万有性的证明 4.3.2其它应用 4.4 覆盖算法的改进和扩展 4.4.1. 函数覆盖方法 4.4.2. 核覆盖算法 4.4.3. 其它的推广 构造性学习方法与核函数的关系 5.1.SVM理论中的核函数法 5.1.1 线性可分高斯型核函数的存在性定理 5.1.2.核空间的结构 5.1.2.1 等效核空间 5.2 覆盖方法与核函数关系 5.2.1广义核映射 5.2.2支持向量集与核函数的关系 5.3. 展望 人工神经网络的学习与综合方法 1张 铃 2张 钹 1安徽大学人工智能所230039 2清华大学计算机系100084 人工神经网络（artificial neural networks）的主要用途是可以作为，联想记忆器(associated memory)，或分类器(classifier)、聚类器(cluster)以及优化计算(optimization)。按Pawlak[Pa1]的观点，分类能力是人类智能的主要表现，这个观点充分说明了分类的重要性。所以，本章主要讨论人工神经网络作为分类器的学习与综合问题。其内容主要包括，作为分类器的神经网络三种主要的学习与综合方法，即基于搜索机制的学习方法，基于规划的学习方法，构造性的学习方法，以及几种方法之间的关系。最后就人工神经网络的学习问题给出一些展望。 第一节 引言 自1982年Hopfield发表了关于自反馈神经网络(neural networks with self-feedback connections)的文章[H2]以及Rumelhart 等人发表了专著《Parellel Distributed Processing》(PDP)[R1]以来, 在世界范围内再度掀起研究神经网络的热潮。由于人工神经网络具有如下的特点，即利用样本集进行学习, 用准符号方法描述知识，分布式并行运行机制等等。这些特点，特别是利用样本集进行学习这一点,使人自然联想到人类许多能力(如感知、动作，如游泳、骑自行车的能力等)的获得，就是通过大量的学习训练得来的。那么，利用人工神经网络的方法来描述和研究人类感知与动作的性质，自然引起人们的极大兴趣。二十多年过去了，人们不但找到神经网络的极其广泛的应用，而且对神经网络本身的理论研究也取得很大的进展。如对作为分类器的神经网络的学习与综合问题的研究，到目前为止, 至少存在如下三个主要的方法。一是基于搜索制的算法(search based algorithms),最有代表性的是前向网络BP学习算法和模拟退火算法；二是基于规划的学习方法(programming based algorithms),最有代表性的是支持向量机(support vector machines)方法；三是构造性的学习方法(constructive algorithms),如覆盖算法(covering algorithms)。 下面几节主要是结合作者在这方面的研究成果，对上述的三类学习与综合方法进行介绍。 基于搜索机制的神经网络学习与综合算法 前向神经网络的BP算法 前向神经网络的BP算法是Rumelhart 等人1986年在专著PDP[R1]中提出的学习方法，这是神经网络第一个可行的普适的学习算法。下面进行简单介绍。 2.1.1 前向神经网络 多层前向神经网络(multi-layer feedforward neural networks)的结构 网络划分成若干层, 各层依次排列