第5章 神经网络的理论基础..ppt

* * 人工神经网络常用学习规则 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 人工神经网络定义 人工神经网络是一个由许多简单的并行工作的处理单元组成的系统，其功能取决于网络的结构、连接强度以及各单元的处理方式。 人工神经网络是一种旨在模仿人脑结构及其功能的信息处理系统。 神经网络是由多个非常简单的处理单元彼此按某种方式相互连接而形成的计算系统，该系统是靠其状态对外部输入信息的动态响应来处理信息的。 * * 神经网络的基本特征与功能 结构特征： 并行式处理 分布式存储 容错性 能力特征： 自学习 自组织 自适应性 神经网络的基本特征与功能 联想记忆功能 * * 非线性映射功能 神经网络的基本特征与功能 * * 分类与识别功能 神经网络的基本特征与功能 生物神经元及其信息处理 生物神经元 人工神经元模型 * 人类大脑大约包含有1.4?1011个神经元，每个神经元与大约103～105个其它神经元相连接，构成一个极为庞大而复杂的网络，即生物神经网络。 生物神经元及其信息处理 * * 神经生理学和神经解剖学的研究结果表明，神经元(Neuron)是脑组织的基本单元，是人脑信息处理系统的最小单元。 生物神经元及其信息处理 * * 生物神经元的结构 神经元在结构上由 细胞体(Cell body) 树突(Dendrite) 轴突(Axon) 突触(Synapse) 四部分组成。用来完成神经元间信息的接收、传递和处理。 生物神经元及其信息处理 * * * * 信息的传递与接收 生物神经元的信息处理机理 * * * * 信息的整合 空间整合：同一时刻产生的刺激所引起的膜电位变化，大致等于各单独刺激引起的膜电位变化的代数和。 时间整合：各输入脉冲抵达神经元的时间先后不一样。总的突触后膜电位为一段时间内的累积。 生物神经元的信息处理机理 * * 生物神经网络 由多个生物神经元以确定方式和拓扑结构 相互连接形成生物神经网络。 生物神经网络的功能不是单个神经元信息 处理功能的简单叠加。 神经元之间的突触连接方式和连接强度不 同并且具有可塑性，这使神经网络在宏观 呈现出千变万化的复杂的信息处理能力。 * * 人工神经元模型及人工神经网络模型 神经元及其突触是神经网络的基本器件。因此，模拟生物神经网络应首先模拟生物神经元。在人工神经网络中，神经元常被称为“处理单元”。有时从网络的观点出发常把它称为“节点”。人工神经元是对生物神经元的一种形式化描述。 * * 人工神经元模型 神经元模型示意图 * * 神经元的数学模型 τij—— 输入输出间的突触时延； Tj —— 神经元j的阈值； wij—— 神经元i到 j 的突触连接系数或称 权重值； f —— 神经元转移函数。 (1) (2) 人工神经元模型 * * (3) net’j=WjTX (4) Wj=(w1 w2 … wn)T X=(x1 x2 … xn)T 令x0= -1，w0=Tj，则有-Tj=x0w0 人工神经元模型 神经元的数学模型 * * (5) oj=f(netj)=f (WjTX) (6) 神经元的数学模型 人工神经元模型 * * 神经元的转移函数 (1)阈值型转移函数 1 x≥0 f(x)= (7) 0 x＜0 人工神经元模型 * * (2)非线性转移函数 神经元的转移函数 (8) 人工神经元模型 * * (3)分段线性转移函数 0 x≤0 f(x)= cx 0＜ x≤xc (9) 1 xc＜ x 神经元的转移函数 人工神经元模型 * * 层次型结构 人工神经网络模型 按神经元连接方式分类 * * 输出层到输入层有连接