神经网络配套Ch4pres.pptVIP

4 * 感知机学习规则 学习的分类 ? 有监督学习（有导师学习） 提供网络一组能代表网络行为的实例集合 (训练集)： ? 增强学习（半监督学习） 仅提供一个级别(或评分)，作为网络在某些输 　入序列上的性能测度。 ? 无监督学习（无导师学习） 学习仅根据网络的输入来学会将输入模式分类 （聚类）。 (输入,目标输出)。 感知机的结构 W w 1 1 , w 1 2 , ? w 1 R , w 2 1 , w 2 2 , ? w 2 R , w S 1 , w S 2 , ? w S R , = w i w i 1 , w i 2 , w i R , = W w T 1 w T 2 w T S = 单个神经元感知机工作原理 判定边界：n=w1,1p1 +w1,2p2 +b =0 单个神经元感知机工作原理 p1 + p2 –1 = 0 判定边界 ? 所有在判定边界上的点与权向量的内积相同。 ? 这些点一定是在一条与权向量垂直的线上。 例子 – “或(OR)” “或”的解答（图解法） 选择一个判定边界，把两类模式向量分割在两个区。能够实现这种划分的边界有无穷多个。合理的选择是判定边界易于确定，且处于这两类模式向量的间隔正中。 在判定边界上取一点(0, 0.5)来定偏值： 选择与判定边界垂直的权向量，该权向量可以是任意长度向量，它同样有无穷多个。这里选择： “或”的解答（图解法） 方程的法向量是权向量 (与判定边界垂直)： 方程的常数项是判定边界的偏置值： 两点式直线方程： 例如点(x1 , y1)和(x2, y2)： 选一个判定边界及其上的两点得其方程： 例如点(0.5, 0)和(0, 0.5) 多神经元感知机 ?　每个神经元将有自己的判定边界： ?　单个神经元可以将输入向量分为两类。 ?　一个有S个神经元的感知机可将输入向 　 量分为多类，共有2S种可能的类别。 感知机学习规则 ? 为满足给定的训练样本： ? 设计一般性的方法来确定感知机的权和偏置值。 学习规则测试实例 测试问题的网络 初始化 将p1送入网络： 随机初始化权： 错误分类 构造学习规则 ? 令1w 为 p1 – 前后振荡 ? 将p1加到1w上 – 1w的指向偏向p1 规则： 第二个输入向量 (错误分类，见前图) 修正规则： 第三个输入向量 三个模式现在都正确分类了 (错误分类，见前图) 统一的学习规则 偏置可视 为对应输 入为1 的权 多神经元感知机 权值矩阵的第i行修改为： 矩阵表示： 苹果/香蕉例子 训练集： 初始权值： 第一次迭代： e t 1 a – 1 0 – 1 = = = 第二次迭代 检查 学习规则的能力 ? 只要权值的解存在（问题线性可分）， 该学习规则总能收敛到实现期望分类的 权值上。 收敛性证明 ? 证明见书中第45页 ? 证明是建立在下面三条假设基础上的： ⑴ 问题的解 存在，即有式(4.66)： ； ⑵ 仅在输入被错分时才改变权值，即有式(4.72)： 　　　　　　　　　； (3) 输入向量的长度(模)的上界存在。 ? 证明的思路： 　若问题的解存在，则感知机学习规则必迭代有限次 　就可收敛。 收敛性证明 ? (4.66)和(4.72)式的证明： -(4.66)式的证明,即 。 证：由(4.61)有, , ,且 。 ⑴若 ,则 ,由(4.62)得: ; ⑵若 ,则 ,由(4.63)得: ; 综合⑴和⑵证得(4.66)式。 -(4.72)式的证明,即 。 证：由(4.61)有, , ,且 。 ⑴若 ,由于错误分类,得: ; ⑵若 ,由于错误分类,得: ; 综合⑴和⑵证得(4.72)式. 感知机的局限性 线性判定边界 解决不了线性不可分问题 习题 考虑下面定义的分类问题： 设计一个求解这个问题的单神经元感知机。 (1)用图形方式求解网络参数； (2)对下列初始参数用感知机学习规则求解网络参数。 课外习题 按照感知机学习规则, 用C语言编程实现下列学习函数: void learning( n, i , f, {p,t}, W, b ) { n: 神经元的个数; i: 输入维数; f : 传输函数类型; {p,t}: 训练集; W: