2-1人工神经网络基础知识终稿.ppt

神经网络理论Neural Network Theory   一、生物神经元 神经元是大脑处理信息的基本单元 人脑约由101l-1012个神经元组成，其中，每个神经元约与104-105个神经元通过突触联接，形成极为错纵复杂而且又灵活多变的神经网络 神经元以细胞体为主体，由许多向周围延伸的不规则树枝状纤维构成的神经细胞，其形状很像一棵枯树的枝干 主要由细胞体、树突、轴突和突触(Synapse，又称神经键)组成 二、突触的信息处理 生物神经元传递信息的过程为多输入、单输出； 神经元各组成部分的功能来看，信息的处理与传递主要发生在突触附近； 当神经元细胞体通过轴突传到突触前膜的脉冲幅度达到一定强度，即超过其阈值电位后，突触前膜将向突触间隙释放神经传递的化学物质； 突触有两种类型，兴奋性突触和抑制性突触。前者产生正突触后电位，后者产生负突触后电位。抑制性---神经元虽然接收到其他神经元传递的信息，但没有向外传递信息，该神经元称“抑制性”的；兴奋性---当一个神经元的树突接收的兴奋信息累计超过阈值，该神经元被激活并传递出信息给其他神经元。 三、信息传递功能与特点 具有时空整合能力 时间整合—各输入脉冲抵达神经元的先后时间不同，一个脉冲引起的突触后电位很小，但随着时间延续，另有脉冲到达，总的突触后电位就增大。 空间整合—在同一时刻产生的刺激所引起的膜电位变化，大致等于各单独刺激引起的膜电位变化的代数和。这种累加求和称空间整合。 不可逆性，脉冲只从突触前传到突触后，不逆向传递 神经纤维传导的速度，即脉冲沿神经纤维传递的速度，在1—150m／s之间 信息传递时延和不应期，一般为0.3～lms 可塑性，突触传递信息的强度是可变的，即具有学习功能 存在学习、遗忘或疲劳（饱和）效应 对应突触传递作用增强、减弱和饱和 2、生物神经系统的六个基本特征： 1）神经元及其联接； 2）神经元之间的联接强度决定信号传递的强弱； 3）神经元之间的联接强度是可以随训练改变的； 4）信号可以是起刺激作用的，也可以是起抑制作用的； 5）一个神经元接受的信号的累积效果决定该神经元的状态； 6) 每个神经元可以有一个“阈值”。 MP模型 人工神经网络连接权的确定通常有两种方法 根据具体要求，直接计算，如Hopfield网络作优化计算 通过学习得到的。大多数人工神经网络都采用这种方法 （3）输出层到输入层有连接的层次型网络结构 输出层到输入层有连接路径,其输入层神经元既可接受输入，也具有信息处理功能。 互连型结构 对于互连型网络结构，网络中任意两个节点之间都可能存在连接路径，因此可以根据网络中节点的互连程度将互连型网络结构细分为全互连型网络、局部互连型网络、稀疏连接型网络3种情况。 （1）全互连型网络 每个节点均与所有其他节点连接。 （2）局部互连型网络 （3）稀疏连接型网络 节点只与少数相距较远的节点相连。 每个节点只与其邻近的节点有连接。 2.4.2网络信息流向类型 从神经网络内部信息传递方向来分，可分为两种类型：前馈型网络和反馈型网络。 1 前馈型网络 单纯前馈型网络的结构特点前述的分层网络完全相同， 前馈是因网络信息处理的方向是从输入层到各隐层再到输出层逐层进行而得名。 从信息处理能力看，网络中的节点可分两种：一种是输入节点，只负责从外界引入信息后向前传递给第一隐层；另一种是具有处理能力的节点，包括各隐层和输出层节点。 前馈型网络中一层的输出是下一层的输人，信息的处理具有逐层传递进行的方向性，一般不存在反馈环路。因此这类网络很容易串联起来建立多层前馈网络。 前馈(向)网络特点: (1)层次关系清楚 每个神经元只与前一层神经元相连;隐层可多层. (2)反馈关系 基本前馈网络无反馈关系; 隐层自身互联,形成同层神经元之间横向抑制机制,大多自组织竞争型网络都采用此种; 输出到输入层有反馈.对复杂图形的顺序选择和识别字符需要此类网络; (3)属有导师学习型网络(输出值-教师信号-误差-实现权值自适应) (4)属于非线性映射网络 当提到具有单层计算神经元的网络时，指的应是一个两层前馈网络（输入层和输出层），当提到具有单隐层的网络时，指的应是一个三层前馈网络（输入层、隐层和输出层）。 2 反馈型网络 反馈网络是指其信息流向的特点。在反馈网络中所有节点都具有信息处理功能，而且每个节点既可以从外界接受输入，同时又可以向外界输出。 一般来说:互连型网络结构 属于反馈型网络 上面介绍的分类方法、结构形式和信息流向只是对目前常见的网络结构的概括和抽象。实际应用的神经网络可能同时兼有其中一种或几种形式。 例如，从连接形式看，层次型网络中可能出现局部的互连；从信息流向看，前馈网络中可能出现局部反馈。 综合来看，前