人工神经网络第二部分201504感知机详解.ppt

人工神经网络——数学模型及其应用之二 感知机 人工神经网络简单例程 一、感知机网络 (Perceptron) 1.1 简单的分类例题 简单的分类计算 简单的分类计算 1.2 例题总结 二、简单的线性模型 2.1 线性模型学习例程1 2.2 线性模型学习例程2 2.3 使用Delt算法进行网络训练 注：附训练参考程序nnet1.m 2.4 线性网络模型不能解决的问题 解决问题的简单方法 Thanks a lot ! * * 东北大学软件学院 郝培锋 BP神经网络及结构 BP神经网络的学习算法 一个简单的BP神经网络例程 一个简单的识别用神经网络 感知机 简单的线性网络模型 简单线性网络模型的学习 线性阈值网络及其学习 重要的神经网络—BP神经网络 感知器是由美国学者罗森布拉持（F.Rosenblatt）于1958年提出的一种神经网络模型，其重要贡献是提出了一种感知器的训练算法，并成功应用于模式分类问题。虽然，其局限性在于它只能解决线性可分的问题，但它仍然是一种十分重要的神经网络模型，在解决线性可分的问题时，保持了运算速度快、性能可靠的优点；同时，理解感知器的工作原理，可以为我们更好地理解其它复杂的神经网络模型奠定基础。 感知器神经网络特点 阈值型传输函数 单层网络 只适于解决线性可分问题 感知器神经网络的学习 训练：权值和阈值的调整过程被称为“训练”。 学习：神经网络在训练的过程中，便学到了把输入空间影射到输出空间的能力，称之为神经网络的“学习”，调整权值和阈值的算法称之为学习规则或训练算法。 其中a, b是输入单元，c, d是隐单元，e是输出单元。单元的激活值规定取1或0，每个单元的输出函数都取为等价函数，即a=o。单元的net值是所有输入的加权和：net=∑w·o 。单元的激活函数采用阈值函数，阈值为0.01。即当单元的net值大于0.01时该单元的激活值取1，否则取0。 d b c a e +1 +1 +1 +1 -1 -1 输入 输出 阈值 ( 0 0 ) 0 θ=0.01 ( 0 1 ) 1 ( 1 0 ) 1 ( 1 1 ) 0 θ=0.01 θ=0.01 θ=0.01 1. 输入为(0, 0)时，oa=ob=0 netc = oa·wca + ob·wcb = 0×1+ 0×(-1)= 0 netd = oa·wda + ob·wdb = 0×(-1)+ 0×1= 0 因为 netc0.01，netc 0.01，所以 ac=0，ad=0 得到oc=0, od=0。所以 nete = oc·wec + od·wed = 0×1 + 0×1 = 0 因为 nete0.01 所以 oe=ae=0 即当输入为(0, 0)时，网络的输出为0。 d b c a e +1 +1 +1 +1 -1 -1 θ=0.01 θ=0.01 θ=0.01 2. 网络输入为(0, 1)时，oa=0, ob=1 netc = oa·wca + ob·wcb = 0×1+1×(-1)= -1 netd = oa·wda + ob·wdb = 0×(-1)+ 1×1= 1 因为 netc0.01，netd 0.01 所以 oc= ac= 0, od= ad= 1。得 nete = oc·wec + od·wed = 0×1 + 1×1 = 10.01 oe=ae=1 即当输入为(0, 1)时，网络的输出为1。 d b c a e +1 +1 +1 +1 -1 -1 θ=0.01 θ=0.01 θ=0.01 同样当网络输入为(1, 0)时，网络的输出为1。 当网络输入为(1, 1)时，网络的输出为0。 因此，神经网络完成了一个影射，起到了函数的作用。由于其中的机理不清楚，也称“黑箱”。 d b c a e +1 +1 +1 +1 -1 -1 θ=0.01 θ=0.01 θ=0.01 “黑箱” 或函数 F 输入 ( 0 0 ) ( 0 1 ) ( 1 0 ) ( 1 1 ) 输出 0 1