神经网络1BP网络1n.docVIP

第一章 前传网络 12 1.1 线性感知器 12 1.1.1 概述 12 1.1.2 线性感知器 13 1.2 BP网络 17 1.3 BP网络的应用 23 1.3.1 手写ZIP码识别 23 1.3.2 图像压缩 24 1.3.3 股票预测 25 第一章 前传网络 1.1 线性感知器 1.1.1 概述 1.1给出了一个简单的单层前传网络（神经元）的示意图。它也是许多更复杂的神经网络的基本构件之一。神经元对外界传入的个信号经权值向量处理后，用线性求和器得到“综合印象”，再由活化函数对此综合印象作出非线性反应。这种反应机制是对真正的生物神经元反应机制的一种简单而又常常有效的模拟。将大量简单神经元按某种方式连接起来，并通过某种学习过程确定单元之间的连接强度（权值），就得到各种人工神经网络，用来完成逼近、分类、预测、控制和模拟等各种任务。 图1.1 神经元模型 设给定J个输入样本模式, 其中,以及理想输出。另外，给定一个非线性函数。单层前传网络（神经元）的学习过程就是利用样本模式，通过某种学习算法来选择权向量和阈值，使得 (1.1.1) 其中为网络的实际输出。 然后，我们就可以向网络输入中其它模式向量, 得到相应输出，这就是神经网络的工作过程。 (1.1.1)中的函数称为活化函数，常见的有符号函数及其逼近、型函数（Sigmoid函数）、径向基函数、随机值函数等等。网络的输出值及理想输出可以只取有限个离散值（例如双极值±1或二进制0,1）, 这时网络相当于一个分类器；也可以取连续值，这时网络相当于输入与输出之间函数关系的一种数值逼近器。当存在和使(1.1.1)成立时，我们说该问题是可解的，或样本模式是可分的。否则，称为不可解的，或不可分的；这时只能选取和使得误差尽可能地小。 1.1.2 线性感知器 1.1 令, , 将一起作为新的权值来进行选择, 于是(1.1.1)中的定义可以更紧凑地写成 (1.1.2) 下面，我们在(1.1.1)中取为如下符号函数 (1.1.3) 且理想输出取值亦为。（也可以考虑符号函数的取值为0,1。 一般地说，取值为0,1时电路实现方便，而取时数学处理比较简单。）对输入样本模式，网络实际输出为 (1.1.4) 此时，式(1.1.4)所表示的神经网络称为线性感知器。 图1.2 符号函数(函数值为{0,1}或{1,-1}) 注1.2 (1.1.4)中主要的运算为便于并行处理的向量乘法。另一方面，除了在原点附近，符号函数（以及后面将要用到的符号函数的各种逼近）对于自变量的变化并不敏感，即容错性好。事实上，各种神经网络用到的主要运算就是向量乘法，并且广泛采用符号函数及其各种逼近。典型的神经网络都可以用电路、光路等硬件来实现（参见[Murray 1997][戴葵1998]）；这时不论多大，(1.1.4)中的向量乘法所需的时间基本不变（参看图1.1），使得便于并行处理的特点更加突出。并行、容错、可以硬件实现以及后面将要讨论的自我学习特性，是神经网络的几个基本优点，也是神经网络计算方法与传统计算方法的重要区别。当然神经网络也可以用计算机模拟实现，尤其对于只需进行一次的学习过程，这时并行的优点就不突出了。 以为例。线性感知器的目标就是求法向量和阈值，使得与垂直的直线（一般地是维超平面）将样本模式分成和（即和）两类，分别位于的两侧（见图1.3）。 图1.3 用线性感知器分类 图1.4给出另一种等价的几何解释。定义（参见注1.1），则线性感知器的目标成为：选取使 (1.1.5) 如图1.4，设，张成包含的最小扇形域，是其张开的角度。于是，角度差刻画了（从而）的可分性。若，则不可分；若，则可分（对线性感知器，常称为线性可分）。并且越大，可分性越好（即的允许范围越大）。 图1.4 的可分性 注：点是满足的那些样本点经过变换得到的。 容易证明，若线性无关, 则一定是线性可分的。在图1.5和1.6中给出线性不可分的两个典型例子, 其中图1.5所描绘的即为著名的XOR问题。 图1.5 XOR问题 图1.6 线性不可分 权向量是通过学习得到的。下面给出所谓感知器学习规则。为简便起见, 在本章其余地方，我们总假设（参见注1.1）。 输入一个样本向量，得到网络的当前实际输出，然后按下式修改当前权