第二章神经网络基础知识.pptVIP

北京工商大学信息工程学院韩力群制作 第二章 神经网络基础知识 第二章 神经网络基础知识 生物神经元与生物神经网络 人工神经元模型 人工神经网络模型 神经网络的学习 人工神经元－信息处理单元 人工神经元－信息处理单元 人工神经元－信息处理单元 人工神经元－信息处理单元 人工神经元－信息处理单元 人工神经元－信息处理单元 本章介绍人工神经网络的生物学基础，说明： 1.作为“智能”物质基础的大脑是如何构成和如何工作的？ 2.在构造新型智能信息处理系统时可以从中得到什么启示和借鉴？ 3.如何建立人工神经元模型与人工神经网络模型？ 4.人工神经网络如何学习？ 生物神经网络中各神经元之间连接的强弱，按照外部的激励信号作自适应变化，大脑的学习过程就是神经元之间连接强度随外部激励信息作自适应变化的过程，大脑处理信息的结果由各神经元状态的整体效果确定。 与人类社会作一类比： 2.2.3神经元的转移函数 (1)阈值型转移函数 1 x≥0 f(x)= (2.7) 0 x＜0 2.2.3神经元的转移函数 (2)非线性转移函数 2.2.3神经元的转移函数 (3)分段线性转移函数 0 x≤0 f(x)= cx 0＜ x≤xc (2.9) 1 xc＜ x (4)概率型转移函数 温度参数 2.2.3神经元的转移函数 信息输入 信息传播与处理：加权求和 信息传播 信息传播与处理：非线性 信息输出 2.3.1网络拓扑结构类型 ——层次型结构 单纯层次型结构 2.3 人工神经网络模型 2.3.1网络拓扑结构类型 ——层次型结构 输出层到输入层有连接 2.3 人工神经网络模型 2.3.1网络拓扑结构类型 ——层次型结构 层内有连接层次型结构 2.3 人工神经网络模型 2.3.1网络拓扑结构类型 ——互连型结构 全互连型结构 2.3 人工神经网络模型 2.3.1网络拓扑结构类型 ——互连型结构 局部互连型网络结构 2.3 人工神经网络模型 2.3.2网络信息流向类型 前馈型网络 2.3 人工神经网络模型 2.3.2网络信息流向类型 反馈型网络 2.3 人工神经网络模型 北京工商大学信息工程学院韩力群制作 2.4神经网络学习 神经网络能够通过对样本的学习训练，不断改变网络的连接权值以及拓扑结构，以使网络的输出不断地接近期望的输出。这一过程称为神经网络的学习或训练，其本质是可变权值的动态调整。 神经网络的学习类型： 2.4神经网络学习 有导师学习(有监督学习) 无导师学习(无监督学习) 死记式学习 2.4神经网络学习 第二章小结 (1)生物神经元的信息处理 (2)人工神经元模型 (3)人工神经网络模型 (4)神经网络学习 * 人工神经网络是对人脑的模拟 人工神经元 模拟 生物神经元 人工神经网络 模拟 生物神经网络 2.1人工神经网络的生物学基础 人类大脑大约包含有1.4?1011个神经元，每个神经元与大约103～105个其它神经元相连接，构成一个极为庞大而复杂的网络，即生物神经网络。 2.1人工神经网络的生物学基础 神经生理学和神经解剖学的研究结果表明，神经元是脑组织的基本单元，是神经系统结构与功能的单位。 2.1人工神经网络的生物学基础 2.1.1 生物神经元的结构 生物神经元在结构上由： 细胞体(Cell body) 树突(Dendrite) 轴突(Axon) 突触(Synapse) 四部分组成。用来完成神经元间信息的接收、传递和处理。 2.1人工神经网络的生物学基础 2.1.2 生物神经元的信息处理机理 一、信息的产生 神经元间信息的产生、传递和处理是一种电化学活动。 神经元状态： 静息 兴奋 抑制 膜电位： 极 化 去极化 超极化 2.1人工神经网络的生物学基础 2.1.2 生物神经元的信息处理机理 二信息的传递与接收 2.1人工神经网络的生物学基础 2.1.2 生物神经元的信息处理机理 三、信息的整合 空间整合：同一时刻产生的刺激所引起的膜电位变化