学习笔记之人工神经网络.doc

简介： 人工神经网络（artificial neural network，缩写ANN），简称神经网络（neural network，缩写NN），是一种模仿生物神经网络的结构和功能的数学模型或计算模型。神经网络由大量的人工神经元联结进行计算。大多数情况下人工神经网络能在外界信息的基础上改变内部结构，是一种自适应系统。现代神经网络是一种非线性统计性数据建模工具，常用来对输入和输出间复杂的关系进行建模，或用来探索数据的模式。 人工神经网络是一个能够学习，能够总结归纳的系统，也就是说它能够通过已知数据的实验运用来学习和归纳总结。人工神经网络通过对局部情况的对照比较（而这些比较是基于不同情况下的自动学习和要实际解决问题的复杂性所决定的），它能够推理产生一个可以自动识别的系统。与之不同的基于符号系统下的学习方法，它们也具有推理功能，只是它们是建立在逻辑算法的基础上，也就是说它们之所以能够推理，基础是需要有一个推理算法则的集合。 神经网络是一种运算模型，由大量的节点（或称“神经元”，或“单元”）和之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数（activation function）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重（weight），这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。 它的构筑理念是受到生物（人或其他动物）神经网络功能的运作启发而产生的。人工神经网络通常是通过一个基于数学统计学类型的学习方法（Learning Method）得以优化，所以人工神经网络也是数学统计学方法的一种实际应用，通过统计学的标准数学方法我们能够得到大量的可以用函数来表达的局部结构空间，另一方面在人工智能学的人工感知领域，我们通过数学统计学的应用可以来做人工感知方面的决定问题(也就是说通过统计学的方法，人工神经网络能够类似人一样具有简单的决定能力和简单的判断能力)，这种方法比起正式的逻辑学推理演算更具有优势。 人工神经网络依学习策略分类主要有：监督式学习网络（Supervised Learning Network），无监督式学习网络（Unsupervised Learning Network），混合式学习网络（Hybrid Learning Network），联想式学习网络（Associate Learning Network），最适化学习网络（Optimization Application Network）。依网络架构分类主要有:前向式架构（Feed Forward Network），回馈式架构（Recurrent Network），强化式架构（Reinforcement Network）。 几个几本概念： 神经元，单层神经元网络，多层神经元网络。 神经元 单层神经元网络，是最基本的神经元网络形式，由有限个神经元构成，所有神经元的输入向量都是同一个向量。由于每一个神经元都会产生一个标量结果，所以单层神经元的输出是一个向量，向量的维数等于神经元的数目。 示意图： 多层神经元网络： 人工神经网络的特点和优越性，主要表现在三个方面： 第一，具有自学习功能。例如实现图像识别时，只是需要先把许多不同的图像样板和对应的应识别的结果输入人工神经网络，网络就会通过自学习功能，慢慢学会识别类似的图像。自学习功能对于预测有特别重要的意义。预期未来的人工神经网络计算机将为人类提供经济预测、市场预测、效益预测，其应用前途是很远大的。 第二，具有联想存储功能。用人工神经网络的反馈网络就可以实现这种联想。 第三，具有高速寻找优化解的能力。寻找一个复杂问题的优化解，往往需要很大的计算量，利用一个针对某问题而设计的反馈型人工神经网络，发挥计算机的高速运算能力，可能很快找到优化解。 人工神经网络的主要缺点为可解释性差，训练代价比较高。 讲解：（这里讲的是前向神经网络，或者叫前馈神经网络） 参考出处：“人工神经网络入门系列”博文——逖靖寒（博客园）网 址： /gpcuster/archive/2008/06/24/1229140.html 单层神经网络： 与和或操作用单层神经网络就可以实现，2个神经元作为输入，1个神经元作为输出，模型如下所示： 图1. 与操作的神经网络模型 图中把求解权值（w1, w2）和阀值的问题转化为求解权值（w1, w2, w3）的问题，激活函数f(x) = w1*x1+w2*x2+w3*x3。该ANN通过10000次训练，最终求得三个权值。训练过程中制定如下学习规律：W(i) = W(i) + (正确值-实际计算的值)*x(i)。通过一定次数的训练，我们就可以让 (正确值-实际计算