第二章 感知器.pptVIP

计算机科学学院 夏定纯 wistdcx@126.com 1958年，(美)F.Rosenblatt提出，适于简单的模式分类问题。 6.2. 感知器 (Perceptron) 输入：x1, x2 ,…, xn 输出：yk 权： wk1, wk2, …, wkn 阈值：bk (函数f 的阈值) 感知器实际输出： 其中，uk = = W*X+θ、 θ = ? bk = f (uk) = f (wk1x1+ wk2x2+…+wknxn ? bk) = f (W*X+θ) yk = f ( ? ) 6.2.1. 感知器模型 选择f (x)为二值输出： yk = f (uk) = f (W*X+θ) = 1 W*X+θ 0 0 W*X+θ 0 该式的含义： 函数f (x)将输入x分为了两类：1类或0类。 函数f (x)=0，为两类的分界线(面)。 6.2.1. 感知器模型 输入矢量平面图 W*X+θ 0 W* X+θ＝ 0 W* X+θ＜ 0 W 输入分类： 1或0， A或B； 分界线(面)： W*X+θ=0 为； 感知器分类： 与参数{ W, θ}紧密相关。 感知器的分类 6.2.1. 感知器模型 感知器的分类 6.2.1. 感知器模型 感知器的分类 分界线W*X+θ，是由参数{ W,θ}来确定的； 改变参数{ W,θ} ，就可以改变空间的具体划分； 要实现对输入的划分，就需对{ W,θ}进行调整。 要想实现对输入分类，就是确定如何调节参数{ W,θ} ，这实际上就是一种学习的过程。 感知器的学习 6.2.1. 感知器模型 设：神经元nj和ni、其连接为wij Ni输入为oj、输出为ai，理想输出为ti wji ai o1 Nj Ni Hebb学习： 如果两个神经元激活，则其连接将加强： Δwij = g(ai , ti) · h(oj , wij) 学习 ? 调节 { W, θ } Delta学习：是Hebb学习的一种变形。 Δwij = ? · (ti - ai ) · oj 其中，? 为学习速率(1) 。 6.2.1. 感知器模型 wi1 yi x1 x2 xj wi2 wij θi i 若yi = ti，则△wij(k) = 0，△θi(k) = 0，原wij和θi不变。 若yi =0，ti=1，则 △wij(k) = pj， △θi(k) = 1。 若yi =1，ti=0，则 △wi(k) = －pj，△θi (k) = －1。 △ wij = [ ti － yi ] × pj △θi = [ ti － yi ] × 1 W? = W + E×PT θ? = θ + E E = T－Y (误差) 6.2.1. 感知器模型 感知器学习规则(Delta学习)： 确定样本：输入向量P、目标向量T。 网络大小：根据向量的维数来选择网络规模 初始化：W、b取随机值，范围[-1, +1]。 网络输出：根据P、W、b来计算网络的输出Y。 学习偏差：E=T-Y。 新的网络参数： W? = W + E×PT 、 θ? = θ + E 反复训练，直到达到目标，或达到最大的训练次数。 学习/训练步骤 6.2.1. 感知器模型 例 设感知器： W=[1，1]T θ=1。 实现对如下样本的两分类： p(1)=(－1，1)T p(2)=(1，0)T 分析： 带入：p(1)=(-1，1)T，输出：y(1)= sgn(-1+1+1)=1； 带入：p(2)=(1，0)T，输出：y(2)= sgn( 1+0+1)=1； 感知器将这两个样本信号分为同一类。 6.2.1. 感知器模型 这里，W、P 将阈值包含进去，构成扩展的权和样本。 将公式作一个简单变换： 6.2.1. 感知器模型 初始状态 6.2.1. 感知器模型 训练感知器： 学习前： 权W 样本空间划分 分类效果 样本在划分线的同一侧，即为同一类，因此没有达到分类的效果。 -1,1 1,0 p2 p1 + p2 +1 = 0 p1 A=1 B=0 6.2.1. 感知器模型 学习后： 权W 样本空间划分 分类效果 样本分布在划分线的两侧：{ A }、 { B } ，即它们被认为是不同类。 因此，感知器具有对样本分类的功能。 -1,1 1,0 p2 －p1+ p2－1=0 p1 A=1 B=0 6.2.1. 感知器模型 验证： 输入样本 p(1) = (－1，1)T 输入样本 p(2) = (1，0)T -1,1 1,0 p2 －p1+ p2－1=0 p1 A=1 B=0 6.2.1. 感知器模型 线性可分---AND逻辑 p1 p2 p1 AND p2 0 0 0