第4章节 感知机学习规则.ppt

* * 第4章 感知机学习规则 4.1 目的 4.2 理论和实例 4.2.1 学习规则 4.2.2 感知机的结构 4.2.3 感知机学习规则 4.2.4 收敛性证明 4.3 小结 4.4 结束语 4.1 目的 本章将介绍一种用于训练感知机网络的算法，使感知机能够学习求解分类问题。为此，这里将从介绍什么是学习规则开始，然后讨论如何设计感知机网络的学习规则。本章最后将对单层感知机网络的优点和局限性进行讨论。 4.2 理论和实例 4.2.1 学习规则 学习规则 所谓学习规则就是修改神经网络的权值和偏置值的方法和过程（也称这种过程是训练算法）。学习规则的目的是为了训练网络来完成某些工作。 大致可以将其分为三大类： 1.有监督的学习 训练集 目标 {p1,t1}, {p2,t2},…, {pQ,tQ} 2.增强学习 3.无监督的学习 4.2.2 感知机的结构 该网络的输出由下式给出：a=hardlim(Wp+b) （4.2） 首先考虑如下权值矩阵： （4.3） 我们将构成W的第i个行向量定义为： （4.4） 据此，可将权值矩阵W重写为： （4.5） （4.6） 由于hardlim传输函数（如图4-2）的定义是： （4.7） ai=hardlim(ni)=hardlim(iWTP+bi) a=hardlim(n) n=Wp+b 图4-2 hardlim传输函数 所以，如果权值矩阵的第i个行向量与输入向量的内积大于等于-bi，该输出为1，否则输出为0。因此网络中的每个神经元将输入空间划分为两个区域。 1.单神经元感知机 该网络的输出由下式所决定： a =hardlim(n)=hardlim(Wp+b) =hardlim(1WTP+b)=hardlim(w1,1p1+w1,2p2+b) （4.8） 判定边界 判定边界由那些使得净输入n为零的输入向量确定： n=1WTP+b=w1,1p1+w1,2p2+b （4.9） 为了使该实例更加具体，现将权值和偏置值设置为： w1,1=1,w1,2=1,b=-1 （4.10） 那么判定边界是 n=1WTP+b=w1,1p1+w1,2p2+b=p1+p2-1=0 （4.11） 式（4.11）在输入空间中定义了一条直线。为了画这条直线，必须找到该直线穿过轴p1和p2的点。为了求该直线在轴p2上的截矩，令p1=0： （4.12） 为了求该直线在轴p1上的截矩，令p2=0： （4.13） 据此可得到如图4-4所示的判定边界。 为了确定边界的哪一边对应的输出为1，我们只需检测输入空间的一个点。对于输入p=[2 0]T，网络的输出为 （4.14） 所以，对于判定边界右上方的区域网络输出为1。在图