第03讲神经元与网络结构.pptVIP

第01讲 神经元与网络结构 1．1 生物神经元及生物神经网络 1．1．1 生物神经元 人脑大约由1012个神经元组成，神经元互相连接成神经网络 神经元是大脑处理信息的基本单元，以细胞体为主体，由许多向周围延伸的不规则树枝状纤维构成的神经细胞，其形状很像一棵枯树的枝干。它主要由细胞体、树突、轴突和突触(Synapse，又称神经键)组成。 从神经元各组成部分的功能来看，信息的处理与传递主要发生在突触附近。当神经元细胞体通过轴突传到突触前膜的脉冲幅度达到一定强度，即超过其阈值电位后，突触前膜将向突触间隙释放神经传递的化学物质。 突触有两种：兴奋性突触和抑制性突触。前者产生正突触后电位，后者产生负突触后电位。 1．1．2 人脑神经网络信息处理的特点 1．分布存储与冗余性 2．并行处理 3．信息处理与存储合一 4．可塑性与自组织性 5．鲁棒性 1．2 人工神经网络 神经网络直观理解 神经网络是一个并行和分布式的信息处理网络结构，它一般由许多个神经元组成，每个神经元只有一个输出，它可以连接到很多其他的神经元，每个神经元输入有多个连接通道，每个连接通道对应于一个连接权系数。 1．2．1 人工神经元模型 归纳一下生物神经元传递信息的过程： 生物神经元是一个多输入、单输出单元。 常用的人工神经元模型可用图3－3模拟。 根据响应函数的不同，人工神经元有以下几种类型： 1、阈值单元 1．2．2 人工神经网络的构成 神经元的模型确定之后，一个神经网络的特性及能力主要取决于网络的拓扑结构及学习方法。 人工神经网络连接的几种基本形式： 1．前向网络 网络中的神经元是分层排列的，每个神经元只与前一层的神经元相连接。 2．从输出到输入有反馈的前向网络 3．层内互连前向网络 4．互连网络 1．2．3 人工神经网络的学习 学习方法是人工神经网络研究中的核心问题。 人工神经网络连接权的确定通常有两种方法： 一种是根据具体要求：直接计算出来，如Hopfield网络作优化计算时就属于这种情况； 另一种是通过学习得到的，大多数人工神经网络都用这种方法。 1．Hebb学习规则 是Donall Hebb根据生理学中条件反射机理，于1949年提出的神经元连接强度变化的规则。 如果两个神经元同时兴奋(即同时被激活)，则它们之间的突触连接加强。 2．误差校正规则 用已知样本作为教师对网络进行学习。 3．相近学习规则 * * 图3－1 生物神经元示意图 图3－3 人工神经元模型 响应函数的基本作用： 1、控制输入对输出的激活作用； 2、对输入、输出进行函数转换； 3、将可能无限域的输入变换成指定的有限范围内的输出。 图3—4 人工神经元的响应函数 2、线性单元 3、非线性单元：Sigmoid函数 图3—5 神经网络的典型结构 Hebb学习规则是人工神经网络学习的基本规则，几乎所有神经网络的学习规则都可以看作Hebb学习规则的变形。 式(3—8)和式(3—9)的学习规则可由二次误差函数的梯度法导出，故误差校正学习规则实际上是一种梯度方法。 *