2012计算智能-5.感知器.pptVIP

1958年，(美)F.Rosenblatt提出，适于简单的模式分类问题。 感知器 (Perceptron) 输入：x1, x2 ,…, xn 输出：yk 权： wk1, wk2, …, wkn 阈值：bk (函数f 的阈值) 感知器实际输出： 其中，uk = WTX +θ、 θ = -bk = f (uk) = f (wk1x1+ wk2x2+…+wknxn ? bk) = f (WTX +θ) yk = f ( ? ) 感知器模型 选择f (x)为二值输出： yk = f (uk) = f (WTX+θ) = 1 WTX +θ = 0 0 WTX +θ 0 该式的含义： 函数f (x)将输入x分为了两类：1类或0类。 函数f (x)=0，为两类的分界线(面)。 感知器模型 输入矢量平面图 WTX+θ 0 WTX+θ＝ 0 WTX+θ＜ 0 WT 输入分类： 1或0， A或B； 分界线(面)： WTX +θ=0 为； 感知器分类： 与参数{ W, θ}紧密相关。 感知器的分类 感知器模型 感知器的分类 感知器模型 感知器的分类 分界线WTX +θ，是由参数{ W,θ}来确定的； 改变参数{ W,θ} ，就可以改变空间的具体划分； 要实现对输入的划分，就需对{ W,θ}进行调整。 要想实现对输入分类，就是确定如何调节参数{ W,θ} ，这实际上就是一种学习的过程。 感知器的学习 感知器模型 设：神经元nj和ni、其连接为wij Ni输入为oj、输出为ai，理想输出为ti wij ai oj Nj Ni Hebb学习： 如果两个神经元激活，则其连接将加强： Δwij = g(ai , ti) · h(oj , wij) 学习 ? 调节 { W, θ } Delta学习：是Hebb学习的一种变形。 Δwij = ? · (ti - ai ) · oj 其中，? 为学习速率(1) 。 感知器模型 wi1 yi x1 x2 xj wi2 wij θi i 若yi = ti，则△wij(k) = 0，△θi(k) = 0，原wij和θi不变。 若yi =0，ti=1，则 △wij(k) = ? · xj， △θi(k) = ? 。 若yi =1，ti=0，则 △wi(k) = － ? · xj，△θi (k) = － ? 。 △ wij = (ti － yi ) · ? · xj △θi = ( ti － yi ) · ? W? = W + ? · E · X θ? = θ + ? · E E = T－Y (误差) 感知器模型 感知器学习规则(Delta学习)： 确定样本：输入向量X、目标向量T。 网络大小：根据向量的维数来选择网络规模 初始化：W、b取随机值，范围[-1, +1]。 网络输出：根据X、W、b来计算网络的输出Y。 学习偏差：E=T-Y。 新的网络参数： W? = W + ? · E · X 、 θ? = θ + ? · E 反复训练，直到达到目标，或达到最大的训练次数。 学习/训练步骤 感知器模型 例 设感知器： W=(1，1)T θ=1。 实现对如下样本的两分类： p(1)=(－1，1)T p(2)=(1，0)T 分析： 带入：p(1)=(-1，1)T，输出：y(1)= f(-1+1+1)=1； 带入：p(2)=(1，0)T，输出：y(2)= f( 1+0+1)=1； 感知器将这两个样本信号分为同一类。 感知器模型 这里，W、P 将阈值包含进去，构成扩展的权和样本。 将公式作一个简单变换： 感知器模型 初始状态 感知器模型 训练感知器： 学习前： 权W 样本空间划分 分类效果 样本在划分线的同一侧，即为同一类，因此没有达到分类的效果。 -1,1 1,0 p2 p1 + p2 +1 = 0 p1 A=1 B=0 感知器模型 学习后： 权W 样本空间划分 分类效果 样本分布在划分线的两侧：{ A }、 { B } ，即它们被认为是不同类。 因此，感知器具有对样本分类的功能。 -1,1 1,0 p2 －p1+ p2－1=0 p1 A=1 B=0 感知器模型 验证： 输入样本 p(1) = (－1，1)T 输入样本 p(2) = (1，0)T -1,1 1,0 p2 －p1+ p2－1=0 p1 A=1 B=0 感知器模型 线性可分---AND逻辑 p1 p2 p1 AND p2 0 0 0 0 1 0 1 0 0 1 1 1 1,1 1,0 p2 p1 A=1 B=0 0,0 0,1 分界线 感知器输出 感知器模型 XOR逻辑 p1 p2 p1 XOR p2