人工神经元模型及学习方法创新.pptVIP

例 用感知器实现逻辑“与”功能 x1 x2 y 0 0 0 0 1 0 1 0 0 1 1 1 逻辑“与”真值表 感知器结构 wix1+w2x2 -T=0 0.5x1+0.5x2-0.75=0 感知器的学习算法 感知器学习规则的训练步骤： (1) 对各权值w0j(0),w1j(0),┄,wnj(0)，j=1, 2,┄,m （m为计算层的节点数）赋予较小的非零随机数； (2) 输入样本对{Xp,dp}，其中Xp=(-1,x1p,x2p,┄,xnp)， dp为期望的输出向量（教师信号），上标p代表 样本对的模式序号，设样本集中的样本总数为P， 则p=1,2,┄,P； (3)计算各节点的实际输出ojp(t)=sgn[WjT(t)Xp], j=1,2,...,m； (4)调整各节点对应的权值，Wj(t+1)= Wj(t)+η[djp-ojp(t)]Xp, j=1, 2,┄,m, 其中为学习率，用于控制调整速度，太大 会影响训练的稳定性，太小则使训练的收敛速度变慢， 一般取0＜η≤1； (5)返回到步骤(2)输入下一对样本，周而复始直到对所有 样本，感知器的实际输出与期望输出相等。 感知器学习规则的训练步骤： （1）权值初始化 （2）输入样本对 （3）计算输出 （4）根据感知器学习规则调整权值 （5）返回到步骤(2)输入下一对样本，周而复始直到对所有样本，感知器的实际输出与期望输出相等。 感知器模型应用领域 感知器模型应用领域： 可实现线性分类、预测等，应用于计算机视觉、图像处理、模式识别、信号处理、智能监控、机器人等不同领域。 人工神经元模型 MP模型、感知器模型及其训练学习算法 M-P模型 目前人们提出的神经元模型有很多，其中最早提出且影响最大的，是1943年心理学家McCulloch和数学家W.Pitts在分析总结神经元基本特性的基础上首先提出的M-P模型。指出了神经元的形式化数学描述和网络结构方法，证明了单个神经元能执行逻辑功能，从而开创了人工神经网络研究的时代。 M-P模型的六点假定 关于神经元的信息处理机制，该模型在简化的基础上提出了以下六点假定进行描述： 每个神经元都是一个多输入单输出的信息处理单元 神经元输入分兴奋性输入和一致性输入两种类型 神经元具有空间整合特性和阈值特性 神经元输入与输出间有固定的时滞，主要取决于突触延搁 忽略时间整合作用和不应期 神经元本身是非事变的，即其突触时延和突触强度均为常数 假设1：多输入单输出 图(a) 表明，正如生物神经元有许多激励输入一祥，人工神经元也应该有许多的输入信号，图中每个输入的大小用确定数值xi表示，它们同时输入神经元j，神经元的单输出用oj表示。 假设2：输入类型：兴奋性和抑制性 生物神经元具有不同的突触性质和突触强度，其对输入的影响是使有些输入在神经元产生脉冲输出过程中所起的作用比另外一些输入更为重要。图(b)中对神经元的每一个输入都有一个加权系数wij，称为权重值，其正负模拟了生物神经元中突触的兴奋和抑制，其大小则代表了突触的不同连接强度。 假设3：空间整合特性和阈值特性 作为ANN的基本处理单元，必须对全部输入信号进行整合，以确定各类输入的作用总效果，图(c)表示组合输人信号的“总和值”，相应于生物神经元的膜电位。神经元激活与否取决于某一阈值电平，即只有当其输入总和超过阈值时, 神经元才被激活而发放脉冲, 否则神经元不会产生输出信号。 神经元的输出 图(d) 人工神经元的输出也同生物神经元一样仅有一个，如用oj表示神经元输出，则输出与输入之间的对应关系可用图(d)中的某种非线性函数来表示，这种函数一般都是非线性的。 神经元模型示意图 神经元的数学模型 τij—— 输入输出间的突触时延； Tj —— 神经元j的阈值； wij—— 神经元i到 j 的突触连接系数或称 权重值； f ( ) —神经元转移函数。 神经元的数学模型 net’j=WjTX Wj=(w1 w2 … wn)T X=(x1 x2 … xn)T 令 x0=-1，w0=Tj 则有 -Tj=x0w0 神经元的数学模型 净输入与阈值之差可表示为： 综合以上各式，神经元模型可以简化为： oj=f(netj)=f (WjTX) 神经元的转移函数 神经元各种不同数学模型的主要区别在于采用了不同的转移函数，从而使神经元具有不同的信息处理特性。神经元的信息处理特性是决定人工神经网络整体性能的三大要素之一，反映了神经元输出与其激活状态之间的关系，最常用的转移函数有4种形式。 神经元的转移函数 (1)阈值型转移函数