2016-7-13-研一工程实践报告韩冰教材.doc

兰州大学信息科学与工程学院 全日制专业学位研究生 工程实践 学生姓名： 韩 冰 年级专业： 2015级软件工程专业 方向学习起止时间 地点 1、人工神经网络 项目名称：基本知识体系的学习及相关算法的实现 项目来源：软件公司委托 项目背景： 人工神经网络，是20世纪80 年代以来人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象建立某种简单模型按不同的连接方式组成不同的网络。在工程与学术界也常直接简称为神经网络或类神经网络。 能实现无监督的学习：有关我们的大脑的难以置信的事实之一，就是它们能够自己进行学习，而不需要导师的监督教导； 对损伤有冗余性(tolerance)：大脑即使有很大一部分受到了损伤，它仍然能够执行复杂的工作； 处理信息的效率极高：?神经细胞之间电-化学信号的传递，与一台数字计算机中CPU的数据传输相比，速度是非常慢的，但因神经细胞采用了并行的工作方式，使得大脑能够同时处理大量的数据； 善于归纳推广：大脑和数字计算机不同，它极擅长的事情之一就是模式识别，并能根据已熟悉信息进行归纳推广(generlize)； 它是有意识的：意识（consciousness）是神经学家和人工智能的研究者广泛而又热烈地在辩论的一个话题； 因此，一个人工神经网络(?Artificial neural network,?简称ANN?) 就是要在当代数字计算机现有规模的约束下，来模拟这种大量的并行性, 并在实现这一工作时，使它能显示许多和人或动物大脑相类似的特性。 1.2 相关技术： (1)感知器模型； (2)BP算法； 1.3 项目内容： 针对现在的海量大数据的时代背景，我们需要对海量数据进行分析和整理，而人工神经网络给出的特性在这一方面有很大的重叠性，所以可以考虑利用人工神经网络对数据进行处理。下面对相关技术的应用进行介绍。 1.3.1 感知器 感知器是神经网络中的一个概念，在1950年代由Frank Rosenblatt第一次引入。感知器又分为单层感知器和多层感知器。 单层感知器由输入层和输出层直接相连组成，如图1。单层感知器因其简单的特性，可以提供快速的计算，它能够实现逻辑计算中的NOT、OR、AND等简单计算。 图1 单层感知器 多层感知器包含多层计算。相对于单层感知器，输出端从一个变到了多个；输入端和输出端之间也不只是有一层，而是有隐藏层，如图2。 图2 多层感知器 感知器的学习规则是用来计算新的权值矩阵W和新的偏差B的算法。感知器利用其学习规则来调整网络的权值，以便使该网络对输入矢量的响应达到数值为0或1的目标输出。 对于输入矢量P，输出矢量A，目标矢量为T的感知器网络，感知器的学习规则是根据以下输出矢量可能出现的几种情况来进行参数调整的。 (1) 如果第i个神经元的输出是正确的，即有：ai＝ti，那么与第i个神经元联接的权值wij和偏差值bi保持不变； (2)如果第i个神经元的输出是0，但期望输出为1，即有ai＝0，而ti＝1，此时权值修正算法为：新的权值wij为旧的权值wij加上输人矢量pj；类似的，新的偏差bi为旧偏差bi加上它的输入1； (3) 如果第i个神经元的输出为1，但期望输出为0，即有ai＝1，而ti＝0，此时权值修正算法为：新的权值wij等于旧的权值wij减去输入矢量pj；类似的，新的偏差bi为旧偏差bi减去1。 由上面分析可以看出感知器学习规则的实质为：权值的变化量等于正负输入矢量。具体算法总结如下。 对于所有的i和j，i＝l，2，…，s；j＝1，2，…，r，感知器修正权值公式为：△wij = (ti - yi) × pj △bi = (ti - yi) ×1 用矢量矩阵来表示为：W = W + EPT B = B + E 此处，E为误差矢量，有E＝T－A。 1.3.2 BP算法 BP算法，也就是我们所说的误差反向传播算法，它的基本思想如下：学习过程由信号的正向传播与误差的反向传播两个过程组成。正向传播时，输入样本从输入层传入，经各隐层逐层处理后，传向输出层。若输出层的实际输出与期望的输出(教师信号)不符，则转入误差的反向传播阶段。误差反传是将输出误差以某种形式通过隐层向输入层逐层反传，并将误差分摊给各层的所有单元，从而获得各层单元的误差信号，此误差信号即作为修正各单元权值的依据。这种信号正向传播与误差反向传播的各层权值调整过程，是周而复始地进行的。权值不断调整的过程，也就是网络的学习训练过程。此过程一直进行到网络输出的误差减少到可接受的程度，或进行到预先设定的学习次数为止。 (1) 通过感知器的实现和训练，我们可以处理n维实例空间中的数据点； (2) 通过梯度下降算法，可以有效的得到我们期待的结果； (3) BP算法可