人工智能读书笔记西安交通大学.docVIP

人工智能读书笔记 ——神经网络初步探究 西安交通大学 电信学院 计算机15班 高君宇 2110505112 本学期，我有幸跟随相明教授进行了为期十周的人工智能课程学习。我最真切的体会是：在当今的人工智能领域里，理论是浩如烟海的，发现是十分之多的，应用是颇有限制的，成熟是有待时间的。但是，这丝毫不会降低我对人工智能诸多领域的兴趣。为什么呢？因为我是一个计算机专业的学生，对计算机这个看似冷冰的机器有着独特的感情，我渴望与他沟通与他交互向他诉说。所以，机器学习、神经网络等一系列理论都让我兴致勃勃，而且这些理论在相关领域中已经有所应用。在这个读书笔记里，我想专门记录自己对神经网络的研究。 人类在很多方面已成功地采用机器来完成繁重和重复的体力工作，但人们也一直没有放弃让机器具有人类的思维能力的努力。自电子计算机的出现至今，使这种梦想有了某些实现的可能。特别是人工智能技术的出现，使得人们又向思维机器的研究方向迈进了一步。 现在，人工神经网络技术又为我们进一步研究怎样模拟人类智能以及了解人脑思维的奥秘开辟了一条新的途径。[1] 那么，什么是神经网络呢？通过老师课上的讲述和自身的理解，我认为神经网络就是让计算机像生物体的神经系统一样，可以对外界传来的各种刺激（输入）产生一系列确定的反应（输出）。神经元在神经系统中具体怎么工作的我们不用纠结太多，而机器中实现神经网络模型需要用一系列数学方法对输入信号进行变换、分类、加权等。我们主要学习了早期的感知器模型，它第一次引入了学习的概念，但简单感知器是通过非线性函数输出的，它只能解决线性可分问题，不能解决线性不可分问题（即无法用一个平面（直线）把超空间（二维平面）中的点正确划分），但多层感知器可以解决这个问题，因为它把多个感知器级联在了一起，相当于在一个平面上画多条直线，其层次可分为输入层、隐层和输出层，每一层都是上一层的输入加权后输出，但多层感知器模型不能学习。接着，我们重点学习了BP算法，它是一种最为著名的前馈网络学习算法，BP网络既解决了多层感知器不能学习的缺陷，又继承了感知器强大的分类能力。[2]它将初始的各层权值不断调整，用迭代的方法逐步逼近最优结果。 BP神经网络是前馈神经网络中应用最广泛的网络之一。理论上，当BP?神经网络隐层节点足够多时，可以逼近任意复杂系统的动力学行为。然而，由于神经网络规模巨大以及数据饱和等原因，使网络难以收敛到全局最小点，或收敛速度异常缓慢，为实际应用带来许多具体的难以克服的困难。人们提出了很多改进的学习算法，并极大地改善了收敛速度。[2-4]?但是，对于复杂的问题，?BP?神经网络规模巨大以及收敛速度缓慢的问题到目前为止依然没有得到有效解决。?实质上，导致BP?神经网络收敛缓慢的原因不仅仅是由于BP?神经网络所采用的梯度学习算法，而且也与BP?神经网络全连接对称的网络结构有关。[5]全连接对称结构的BP?神经网络应用梯度下降法进行权值修正时，网络中的每个隐节点都各自为政，并力图使自己在总体计算中发挥主要作用。每个隐节点都只看到其输入信号和输出端反传给它的误差信号，误差信号给出了每个隐节点需要完成的任务，但输入信号和输出信号一直在变化[6]，因此，隐节点要完成的任务也一直在变动，于是，各隐节点在很长一段时间内处于混沌状态，需要很长时间才能够稳定下来。[7]? 因此，要改善BP?神经网络的性能，需在网络结构上改变其全连接的形式，降低网络参数搜索空间。人工神经网络建立在大脑生理研究的基础上，是对生物神经网络若干基本特性的抽象和模拟。人脑在处理复杂事件时，会将事件分解成若干子事件，然后分配给大脑的相应处理机构，协调完成事件的处理工作，同时人脑对知识具有积累特性，在获得新知识的同时不会破坏原来已学好的知识[8]。而全连接神经网络却不具备这些特性，它在学习新样本时，会破坏全部原来已经学好的旧样本。因此，近年来许多学者试图从仿生学和拟人脑的角度研究神经网络结构设计理论及应用。[9]? 虽然BP算法是神经网络最为重要且最基本的部分之一，但神经网络领域的知识远比书本上讲述的更深、更广。接下来，我主要研究了径向基函数网络。设计神经网络可以有多种方案，反向传播算法可以看做是递归技术的应用，因为其调整权系数的方法是递归的。这种技术在统计学中称为随机逼近。而径向基函数网络将神经网络的设计看作是一个高维空间中的曲线拟合（逼近）问题。按照这种观点，学习等价于在多维空间中寻找一个能够最佳拟合训练数据的曲面，这里的最佳拟合准则是某种意义上的最佳拟合。径向基函数方法在某种程度上利用了传统的多维空间中严格插值的研究成果。[6] 从我自己单纯的理解来看，径向基函数网络比反向传播算法更为高端。为什么呢？因为径向基函数网络的隐层单元不像反向传播算法的隐层单元那样只含有一个对权系数的调整，其隐层单元提