计算智能与深度学习 课件 2神经网络－1神经元与网络结构.ppt

史忠植高级人工智能内容安排:一、生物神经元二、人工神经网络结构三、神经网络基本学习算法一、生物神经元生物神经元突触信息处理信息传递功能与特点1.1生物神经元神经元是大脑处理信息的基本单元人脑大约由1011个神经元组成，神经元互相连接成神经网络神经元以细胞体为主体，由许多向周围延伸的不规则树枝状纤维构成的神经细胞，其形状很像一棵枯树的枝干主要由细胞体（cellbody,orsoma）、树突（dendrite）、轴突（axon）和突触(Synapse，又称神经键)组成树突为神经元的输入通道，其功能是将自其他神经元所接收的动作电位传送至细胞本体。其他神经元的动作电位借由位于树突分支上的多个突触传送至树突上。树突在整合自这些突触所接收到的信号、以及决定此神经元将产生的动作电位强度上，扮演了重要的角色.轴突它是从神经元的细胞本体发出的长突起。轴突为神经元的输出通道，其功能是将动作电位自细胞本体传递出去至突触。突触（英文：synapse）是神经元之间，或神经元与肌细胞之间通信的特异性接头。1.2突触的信息处理生物神经元传递信息的过程为多输入、单输出神经元各组成部分的功能来看，信息的处理与传递主要发生在突触附近当神经元细胞体通过轴突传到突触前膜的脉冲幅度达到一定强度，即超过其阈值电位后，突触前膜将向突触间隙释放神经传递的化学物质突触有两种类型，兴奋性突触和抑制性突触。前者产生正突触后电位，后者产生负突触后电位1.3信息传递功能与特点具有时空整合能力不可逆性，脉冲只从突触前传到突触后，不逆向传递神经纤维传导的速度，即脉冲沿神经纤维传递的速度，在1—150m／s之间信息传递时延和不应期，一般为0.3～lms可塑性，突触传递信息的强度是可变的，即具有学习功能存在学习、遗忘或疲劳（饱和）效应对应突触传递作用增强、减弱和饱和二、人工神经网络结构人工神经网络人工神经元模型常见响应函数人工神经网络典型结构2.1人工神经网络直观理解神经网络是一个并行和分布式的信息处理网络结构它一般由大量神经元组成每个神经元只有一个输出，可以连接到很多其他的神经元每个神经元输入有多个连接通道，每个连接通道对应于一个连接权系数2.2人工神经元模型通用模型求和操作响应函数神经元的模型确定之后，一个神经网络的特性及能力主要取决于网络的拓扑结构及学习方法人工神经网络连接的几种基本形式前向网络(a)从输出到输入有反馈的前向网络(b)用来存储某种模式序列层内互连前向网络(c)限制层内同时动作的神经元；分组功能相互结合型网络(d)权值确定Hebb学习规则误差校正（纠错）学习规则相近（无教师）学习规则人工神经网络连接权的确定通常有两种方法根据具体要求，直接计算，如Hopfield网络作优化计算通过学习得到的。大多数人工神经网络都采用这种方法学习方法是人工神经网络研究中的核心问题DonallHebb根据生理学中条件反射机理，于1949年提出的神经元连接强度变化的规则如果两个神经元同时兴奋(即同时被激活)，则它们之间的突触连接加强a为学习速率，Vi,Vj为神经元i和j的输出Hebb学习规则是人工神经网络学习的基本规则，几乎所有神经网络的学习规则都可以看作Hebb学习规则的变形用已知样本作为教师对网络进行学习学习规则可由二次误差函数的梯度法导出误差校正学习规则实际上是一种梯度方法不能保证得到全局最优解要求大量训练样本，收敛速度慢对样本的表示次序变化比较敏感这类学习不在于寻找一个特殊映射的表示，而是将事件空间分类为输入活动区域，并有选择地对这些区域响应，从而调整参数一反映观察事件的分部输入可以是连续值,对噪声有较强的抗干扰能力对较少输入样本，结果可能要依赖于输入序列在ART、Kohonen等自组织竞争型网络中采用神经网络学习方法*人工神经网络及其应用

神经网络基础知识生物神经元示意图2.2人工神经元模型响应函数的基本作用控制输入对输出的激活作用对输入、输出进行函数转换将可能无限域的输入变换成指定的有限范围内的输出2.3常见神经元响应函数(d)非线性单元：(a)阈值单元(b)线性单元(c)Sigmoid函数（非对称sigmoid)β=1时，2.3常见神经元响应函数10-1s2.4人工神经网络典型结构神经网络的典型结构三、神经网络基本学习算法3.1权值确定3.2Hebb学习规则3.3误差校正规则教师值实际输出值3.3无教师学习规则*