第一章 ANN绪论.ppt

第一章 基础知识 主要内容 什么是神经网络 ANN的发展 神经网络的基本特点 神经网络的基本功能 ANN的应用领域 生物网络基础 人工神经元模型 人工神经网络模型 神经网络学习 1.1什么是神经网络 生物神经网络 人类的大脑大约有1.4?1011个神经细胞，亦称为神经元。每个神经元有数以千计的通道同其它神经元广泛相互连接，形成复杂的生物神经网络。 人工神经网络 以数学和物理方法以及信息处理的角度对人脑神经网络进行抽象，并建立某种简化模型，就称为人工神经网络（Artificial Neural Network，缩写 ANN）。 人工神经网络定义 神经网络是由多个非常简单的处理单元彼此按某种方式相互连接而形成的计算系统，该系统是靠其状态对外部输入信息的动态响应来处理信息的。（美国神经网络学家Hecht Hielsen） 人工神经网络是一个由许多简单的并行工作的处理单元组成的系统，其功能取决于网络的结构、连接强度以及各单元的处理方式。（美国国防高级研究计划局） 人工神经网络是一种旨在模仿人脑结构及其功能的信息处理系统。 1.2ANN的发展 启蒙时期 低潮时期 复兴时期 新时期 国内研究概况 启蒙时期 1890年 美国心理学家 William James 《心理学原理》 1943年 生理学家W.S.McCulloch 数学家W.A.Pitts 神经元 M-P模型，开创了神经科学理论研究的时代 1949年 心理学家Donala O.Hebb 《行为构成》 连接主义，改变神经元连接强度的Hebb学习规则 1958年 计算机学家 Frank Rosenblatt 感知器（第一个真正优秀的ANN） 1960年 电机工程师Bernard Widrow 和Marcian Hoff 梯度下降法 LMS算法 神经网络硬件 低潮时期 1969年 人工智能创始人M.Minsky和S.Papert 《感知器》 （1981年Minsky自己承认当时的论点对这一研究方向伤害过大） 1969年 美国波士顿大学自适应中心的S.Grossberg和G.A.Crpenter 自适应共振理论 1972年 芬兰T.Kohonen 自组织映射（SOM）理论 美国神经生理学家和心理学家J.Anderson 交互存储器 1980年 日本东京NHK的Kunihiko Fukushima “新认知机” 复兴时期 1982,1984,1986年 美国物理学家 John J.Hopfield Hopfield网络 1984年 G.E.Hinton和T.J.Sejnowski 玻耳兹曼机 1986年 美国David E.Rumelhart和James L.McCelland 并行分布式处理 新时期 1987年6月 首届国际神经网络学术会议在美国加州圣地亚哥召开 1988年起 IEEE召开每年一次的国际学术会议 之后不久，第一份神经网络杂志《Neural Network》IEEE 各种学术期刊的神经网络特刊层出不穷 国内研究概况 1980年 涂序彦 《生物控制论》 1989年 学术讨论会 1990年 首届神经网络学术大会 2004年 第14届 合肥 1.3神经网络的基本特点 结构特点 信息处理并行性 信息存储分布性 信息处理单元互连性 结构可塑性 性能特点 非线性 容错性 非精确性 能力特征 自学习 自组织 自适应性 1.4神经网络的基本功能 联想记忆功能 非线性映射功能 分类与识别功能 优化计算功能 1.5ANN的应用领域 1.6生物网络基础 生物神经元的结构 信息的传递与接收 生物神经网络 由多个生物神经元以确定方式和拓扑结构相互连接即形成生物神经网络。 生物神经网络的功能不是单个神经元信息处理功能的简单叠加。 神经元之间的突触连接方式和连接强度不同并且具有可塑性，这使神经网络在宏观呈现出千变万化的复杂的信息处理能力。 联系？？？ 神经元及其突触是神经网络的基本器件。因此，模拟生物神经网络应首先模拟生物神经元 人工神经元(节点) 从三个方面进行模拟: 节点本身的信息处理能力（数学模型） 节点与节点之间连接(拓扑结构) 相互连接的强度(通过学习来调整) 节点本身的信息处理能力(数学模型) 节点与节点之间连接(拓扑结构) 相互连接的强度(通过学习来调整) 1.7人工神经元模型 假设1：多输入单输出 假设2：输入类型：兴奋性和抑制性 生物神经元具有不同的突触性质和突触强度，其对输入的影响是使有些输入在神经元产生脉冲输出过程中所起的作用比另外一些输入更为重要。图(b)中对神经元的每一个