神经网络计算机原理及实现方法的论文.pdfVIP

神经网络计算机原理及实现方法的论文 1 引言 很长时间以来,在我们生活中所接触到的大部分计算机,都是一种被称为 “电脑”的冯 诺 依曼型计算机。这种计算机在运算等很多方面确实超越了人类大脑的水平,但是基于串行控 制机构的冯诺依曼型计算机在图像处理、语音识别等方面远不如大脑的处理能力。于是,在 人类对大脑的不断探索中,一种更接近人脑思维方式的神经网络计算机走进人们的视线。 2 大脑的研究 大脑活动是由大脑皮质许许多多脑神经细胞的活动构成。 神经细胞由一个细胞体、一些树突 、和轴突组成,如图 1所示。神经细胞体是一颗星 状球形物,里面有一个核。树突由细胞体向各个方向长出,本身可有分支,是用来接收信号的。 轴突也有许多的分支。轴突通过分支的末梢和其他神经细胞的树突相接触,形成所谓的突触, 一个神经细胞通过轴突和突触把产生的信号送到其他的神经细胞。每个神经细胞通过它的树 突和大约 10,000 个其他的神经细胞相连。这就使得人脑中所有神经细胞之间连接总计可能 有 1,000,000,000,000,000 个。 神经细胞利用电-化学过程交换信号。输入信号来自另一些神经细胞。这些神经细胞 的轴突末梢(也就是终端)和本神经细胞的树突相遇形成突触,信号就从树突上的突触进入本 细胞。信号在大脑中实际怎样传输是一个相当复杂的过程,但就我们而言,重要的是把它看成 和现代的计算机一样,利用一系列的 0 和 1 来进行操作。就是说,大脑的神经细胞也只有两 种 状态:兴奋和不兴奋。发射信号的强度不变,变化的仅仅是频率。神经细胞利用一种我们还不 知道的方法,把所有从树突上突触进来的信号进行相加,如果全部信号的总和超过某个阀值, 就会激发神经细胞进入兴奋状态,这时就会有一个电信号通过轴突发送出去给其他神经细 胞。如果信号总和没有达到阀值,神经细胞就不会兴奋起来。 尽管这是类似 0 和 1 的操作方式,由于数量巨大的连接,使得大脑具备难以置信的能力。 尽管每一个神经细胞仅仅工作于大约 100hz 的频率,但因各个神经细胞都以独立处理单元的 形式并行工作着,使人类的大脑具有非常明显的特点: 1) 能实现无监督的学习。 2) 对损伤有冗余性 3) 善于归纳推广。 4) 处理信息的效率极高:神经细胞之间电-化学信号的传递,与一台数字计算机中 cpu 的数据传输相比,速度是非常慢的,但因神经细胞采用了并行的工作方式,使得大脑能够同时 处理大量的数据。这个特点也是神经网络计算机在处理方法上最应该体现的一点。 3 人工神经网络基础 对于脑细胞的活动原理,用简单数学语言来说, 一次乘法和累加就相当于一个神经突 触接受一次信息的活动。许许多多简单的乘法和累加计算, 就形成了脑细胞决定是激活状 态 还是抑制状态的简单数学模型。从这种模型出发, 任何复杂的大量的脑神经细胞活动与只 是 大量乘法、累加和判别是否达到激活值的简单运算的并行与重复而已。因此用这种大量并行 的简单运算就可以来模拟大脑的活动, 这就是人工神经网络。 神经网络的基本单元是人工神经元,它是根据人脑的工作原理提出的。图 2 所示为一个 人工神经元,可由以下方程描述 σi =wijxj + si2θi , ui = f(σi) ,yi = g(ui) xi 为输入信号; yi 为输出信号; ui 为神经元的内部状态; θi 为阈值; si 为外部控制信号输入(控制神经元的内部状态 ui ,使之保持一定的状态); wij 为神经元的连接权值。 其中,可通过学习改变连接权wij ,使得神经元满足或接近一定的非线性输入输出关系。 4 神经网络计算机的实现 对于神经网络计算机实现,目前主要有以下三种实现途径: 用软件在通用计算机上模拟神经网络 在 sisd(单指令流、单数据流,如经典个人计算机)、simd(单指令流、多数据流,如连接 机 制机器)或 mimd (多指令流、多数据流,如在 transputer 网络上)结构的计算机上仿真。 这种用软件实现神经网络的方法,灵活而且不需要专用硬件,但是基于此方法实现的神 经网络计算机速度较慢,一般仅适合人工神经网络的研究,另一方面,它在一定程度上使神经 网络计算机失去了它的本质,体现不出并行处理信息的特征。 对神经网络进行功能上的仿真 以多个运算单元节点进行运算,在不同