Neural network外文电子书籍.docVIP

“……我相信，对一个模型的最好的检验是它的设计者能否回答这些问题：‘现在你知 道哪些原本不知道的东西？’以及‘你如何证明它是否是对的？’” ——詹姆斯·鲍尔（James M.Bower) 神经网络是由具有各种相互联系的单元组成的集合。每个单元具有极为简化的神经元的 特性。神经网络常常被用来模拟神经系统中某些部分的行为，生产有用的商业化装置以及检 验脑是如何工作的一般理论。 神经科学家们究竟为什么那么需要理论呢？如果他们能了解单个神经元的确切行为，他 们就有可能预测出具有相互作用的神经元群体的特性。令人遗憾的是，事情并非如此轻而易 举。事实上，单个神经元的行为通常远不那么简单，而且神经元几乎总是以一种复杂的方式 连接在一起。此外，整个系统通常是高度非线性的。线性系统，就其最简单形式而言，当输 入加倍时，它的输出也严格加倍——即输出与输入呈比例关系。①例如，在池塘的表面，当 两股行进中的小湍流彼此相遇时，它们会彼此穿过而互不干扰。为了计算两股小水波联合产 生的效果，人们只需把第一列波与第二列波的效果在空间和时间的每一点上相加即可。这 样，每一列波都独立于另一列的行为。对于大振幅的波则通常不是这样。物理定律表明，大 振幅情况下均衡性被打破。冲破一列波的过程是高度非线性的：一旦振幅超过某个阈值，波 的行为完全以全新的方式出现。那不仅仅是“更多同样的东西”，而是某些新的特性。非线 性行为在日常生活中很普遍，特别是在爱情和战争当中。正如歌中唱的：“吻她一次远不及 吻她两次的一半那么美妙。” 如果一个系统是非线性的，从数学上理解它通常比线性系统要困难得多。它的行为可能 更为复杂。因此对相互作用的神经元群体进行预测变得十分困难，特别是最终的结果往往与 直觉相反。 高速数字计算机是近50年来最重要的技术发展之一。它时常被称作冯.诺依曼计算机， 以纪念这位杰出的科学家、计算机的缔造者。由于计算机能像人脑一样对符号和数字进行操 作，人们自然地想像脑是某种形式相当复杂的冯·诺依曼计算机。这种比较，如果陷入极端 的话，将导致不切实际的理论。 计算机是构建在固有的高速组件之上的。即便是个人计算机，其基本周期，或称时钟频 率，也高于每秒1000万次操作。相反地，一个神经元的典型发放率仅仅在每秒100个脉冲 的范围内。计算机要快上百万倍。而像克雷型机那样的高速超级计算机速度甚至更高。大致 说来，计算机的操作是序列式的，即一条操作接着一条操作。与此相反，脑的工作方式则通 常是大规模并行的，例如，从每只眼睛到达脑的轴突大约有100万个，它们全都同时工作。 在系统中这种高度的并行情况几乎重复出现在每个阶段。这种连线方式在某种程度上弥补了 神经元行为上的相对缓慢性。它也意味着即使失去少数分散的神经元也不大可能明显地改变 脑的行为。用专业术语讲，脑被称作“故障弱化”（degrade gracefully)。而计算机则是 脆弱的，哪怕是对它极小的损伤，或是程序中的一个小错误，也会引起大的灾难。计算机中 出现错误则是灾难性的（degrade catastrophically)。 计算机在工作中是高度稳定的。因为其单个组件是很可靠的，当给定相同的输入时通常 产生完全同样的输出。反之，单个神经元则具有更多的变化。它们受可以调节其行为的信号 所支配，有些特性边“计算”边改变。 一个典型的神经元可能具有来自各处的上百乃至数万个输入，其轴突又有大量投射。而 计算机的一个基本元件——晶体管，则只有极少数的输入和输出。 在计算机中，信息被编码成由0和1组成的脉冲序列。计算机通过这种形式高度精确地 将信息从一个特定的地方传送到另一个地方。信息可以到达特定的地址，提取或者改变那里 所贮存的内容。这样就能够将信息存入记忆体的某个特殊位置，并在以后的某些时刻进一步 加以利用。这种精确性在脑中是不会出现的。尽管一个神经元沿它的轴突发送的脉冲的模式 （而不仅仅是其平均发放率）可能携带某些信息，但并不存在精确的由脉冲编码的信息。① 这样，记忆必然将以不同的形式“存贮”。 脑看起来一点也不像通用计算机。脑的不同部分，甚至是新皮层的不同部分，都是专门 用来处理不同类型的信息的（至少在某种程度上是这样的）。看来大多数记忆存贮在进行当 前操作的那个地方。所有这些与传统的冯·诺依曼计算机完全不同，因为执行计算机的基本 操作（如加法.乘法等等）仅在一个或少数几个地方，而它的记忆却存贮在许多很不同的地 方。 最后，计算机是由工程师精心设计出来的，而脑则是动物经自然选择一代又一代进化而 来的。这就产生了如第一章　所述的本质上不同的设计形式。 人们习惯于从硬件和软件的角度来谈论计算机。由于人们编写软件（计算机程序