神经网络及其控制课件.doc

神经网络计算 §1-1神经元模型 一、概述 神经网络的特点 定义：用于模拟人脑神经元活动过程，包括对信息的加工、处理、存贮和搜索过程。 特点 信息分布式存贮 信息的并行处理与推理 信息的自组织、自学习 二、神经元的模型特征 神经元——多输入单输出的信息处理单元 膜电位——细胞内部和外部具有不同的电位，当外部电位为零时，内部电位称为膜电位。 ωi0 —— 兴奋性神经元的突触 ωi0 —— 抑制性 ωi=0 —— 第i个输入信号对该神经元不起任何作用 神经元具有以下特征： 时空整合功能： 空间总和： 定量描述为：整个神经元的膜电位（状态变化）与输入信号与其权重的线性组合： 是线性相关的 时间总和：不同时刻的输入信息对神经元的影响会重叠，加起来，同时起作用。 时空整合： 根据空间和时间总和，神经元对不同时刻和不同部位的输入进行处理，该过程称之为时空整合作用。 定量描述为：设第i个输入信号t时间后对膜电位的影响为ωi（t′(t)）,则在t时刻，神经元膜电位的变化与下式有关： （1—1） 式中——第i个输入在时间t′时的输入信号 阈值特性 神经元的输入输出之间为非线性，如图1—2所示： 图1—2 阈值特性 即： ——阈值 不应期 本身是随着兴奋程度的变化而变化。 绝对不应期——当—时，无论输入信号多强大，也不会有输出信号。 突触结合的可塑性：即权重ωi是实时变化的。 二、 神经模型 入 图1—3 神经元模型 输入处理： (1—2) 活化处理： （1—3） 输出处理： （1—4） 式中，fi（）——输出函数，根据不同模型而定。 介绍三种典型的神经元模型： 阈值单元模型（MP模型） MP模型——处理0和1二值离散信息的阈值单元模型。 MP模型的数学表达式为： ——阶跃函数 准线性单元模型 特点：输入和输出均为连续值。（BP网络） 神经元i的总输入为： （1—6） 输出为： （1—7） 概率神经元模型： 特点：输入信号采用0与1的二值离散信息，并把神经元的兴奋与抑制以概率表示。 神经元的总输入为 （1—8） 有到输出的概率分布为： (1—9) 式中：T——网络温度的函数 应用：用于Boltzman神经网络。 三、 基于控制观点的神经元模型 其主要功能由下列三部分完成： 加权加法器---空间总和，即： （1—10） j ——常数，其作用是控制神经元保持某一状态。 SISO线性动态系统---时间总和： SISO线性系统对于单位脉冲函数的响应就完成了时间总和，该响应为卷积分： （1—12） 式中，h（t）函数常选用下列五种形式： 附：函数是用于处理许多集中于一点或一瞬时常，例如，点电荷，点热源，窄脉冲，集中力等现象，它可用以下三种形式来定义： 图a 图b 图c 图a 图b 图c0 故有： 对应于上述五种时间函数，与之间的关系分别为： (1—14) 3. 非线性函数---输出函数： （1—16） 式中，非线性函数的常见类如下表所示： 名称阈值函数双向阈值函数Sigma函数双曲正切函数高斯函数g(x)图形特征不可微，类阶跃，正值不可微，类阶跃，零均值可微，类阶跃，正值可微，类阶跃，零均值可微，类脉冲 §1-3 神经网络的结构和学习规则 结构 层状结构：每层中有若干个神经元，相邻层中神 　　　　经元单向联接，同层内的神经内不连接 　　　网状结构：任何两个神经元之间都可能双向联接。 前向网络（前馈网络） 属于层状网络，如图１—５所示： 图１—５　前向网络 特点：（１）.相邻层之间的神经元之间相互连接，各层内神经元之间无连接 （２）无反馈 （３）各神经元可以有多个输入（输入层除外），并只有一个输出给下一层的各神经元 （４）输入层中各输入关节无计算功能。 ２.　反馈网络： 属于层状结构，如图１—６所示： 图１—６　反馈网络 特点：（１）每个神经元都具有计算功能，即为计算节点。 （２）每一个节点接收两个输入 ａ）外界输入 ｂ）其它节点的反馈输入 （３）自环反馈：同一节点的输出反馈给自身做输入。 ３.　相互结合型网络 属于网状结构，如图１—７所示： 图１—７　相互结合型网络