人工神经网络第一部分201504课件资料.ppt

人工神经网络—— 数学模型及其应用之一 人工神经网络基本理论 一、人脑的基本结构与特征 生物神经元的信息传递与处理 生物神经元的信息传递与处理示意图 二、人工神经网络基本结构 1、单元的激活状态 2、单元的输出 3、单元间的连接模式 4、传播规则 6、网络学习，修改连接模式 7、网络学习规则 8、神经网络抽象结构 Thanks a lot ! * * 东北大学软件学院 郝培锋 神经网络概要 人工神经网络通用框架 简单例子 感知机网络 线性自适应网络 Hopfield神经元网络 重要的神经网络-BP神经网络 人中枢神经的主要部分—大脑皮层由约100亿到1000亿个神经元组成。每个神经元约有10至1万个突触。信息传递速度以毫秒计。联想和容错。 大脑的组织结构和功能是人体器官中最为复杂的，它接受外界信号、产生感觉、形成意识、进行逻辑思维、发出指令产生行为，掌管着人们的语言、思维、感觉、情绪、运动等高级活动。 feeling hearing seeing taste smell 神经细胞单元的信息：宽度和幅度都相同的脉冲串 。 兴奋与抑制：轴突输出的脉冲串的频率高与低，决定神经细胞是兴奋还是抑制。兴奋性的突触可能引起下一个神经细胞兴奋，抑制性的突触使下一个神经细胞抑制。 膜电位：神经细胞的细胞膜将细胞体内外分开，从而使细胞体内外有不同的电位，一般内部电位比外部低，其内外电位差称之为膜电位。 膜电位加权：突触使神经细胞的膜电位发生变化，且电位的变化是可以累加的，该神经细胞膜电位是它所有突触产生的电位加权，当该神经细胞的膜电位升高到超过一个阈值时，就会产生一个脉冲，从而总和的膜电位直接影响该神经细胞兴奋发放的脉冲数。 突触延迟：突触传递信息需要一定的延迟，对温血动物，延迟时间为0.3~1.0ms。 一个处理单元集合，单元激活的状态，输出函数，单元件连接模式，网络连接的传播规则，激活规则，根据经验的学习规则。 aj(t) = Fj(a,net) Oj(t) = fj(a) Wij Wij Wij Oi(t) = fi(a) ai(t) = Fi(a,net) 单元激活的状态ai(t) =Fi(ai(t-1)，neti) ，使用激活函数进行计算。不同的神经网络对于单元被激活值大小有不同的要求，有连续区间取值或离散的取值方法。如1表示元兴奋，-1表示元抑制，而0则表示对元的状态无知等。 Wij Wij ai(t) = Fi(a,net) Wij Oi(t) = fi(a) 单元是通过向它邻近的单元传送信号来相互作用的，其强度Oi(t)由本单元的输出函数fi(ai(t))决定，a=(a1,…,an)。fi可以是等值函数 f(x)=x，也可以是阈值函数 If x=0 then f(x)=1 else f(x)=0。 Wij Wij ai(t) = Fi(a(t-1) ,net) Wij Oi(t) = fi(a) 每个连接取一个权重wij ，构成的权矩阵决定了神经网络模型描述系统的性质及其知识，网络的学习就是改变单元间连接关系的过程。 Wij Wij Wij Wij Wij Wij Wij Wij Wij 根据单元的输入net和本单元前个时刻的状态，a(t-1)，利用激活函数F(x)计算当前时刻的状态a(t)。 即：a(t) = F(a(t-1), net) = F(a(t-1), ∑wijoj) 其中 F函数常取成 sigmoid函数。 Wij Wij ai(t) = Fi(a(t-1) ,net) Wij 5、激活规则 所有与单元连接的权重W与对应输入乘积的和做为本单元的输入，记成： net = W×O(t) Wij Wij Wij 神经元网络的核心内容主要有连接模式与训练样本，按照规则修改连接模式wij就是对网络进行样本学习。修改形式主要有： 1、扩展新连接；2、去掉某些旧连接；3、修改原连接强度。 Wij Wij Wij Wij (1) Hebb规则： Δwij = g(ai(t), ti(t))·h(oj(t), wij) 其中 ti(t)是单元的标准值，即目标值，导师信号。 (2) 没有导师的学习规则： Δwi