第4章人工神经网络基础 - 智能优化与控制研究中心.PDFVIP

第4章 人工神经网络基础 第1节 神经网络的发展、特性与研究内容 第1节 神经网络的发展、特性与研究内容 第2节 生物神经元 第2节 生物神经元 第3节 人工神经元 第3节 人工神经元 第4节 神经网络分类 第5节 神经网络学习 第1节神经网络的发展、特性与研究内容 神经网络发展简史 神经网络的特性 神经网络研究的基本内容 一 神经网络发展简史 初创期 时间大致为1943年至1969年 1943年，麦克洛奇和匹兹提出形式神经元数学模型，开 创神经科学理论研究的时代,模仿生物神经元活动的功 能，进行复杂的逻辑运算 1949年，赫伯出版《行为的组织：一种神经心理理论》 ，提出改变神经元连接强度的学习规则，在各种神经网 络模型的研究中起重要作用 1957年，罗森布拉特提出感知器，并用电路实现，第一 次把神经网络的研究付诸工程实践，掀起神经网络研究 的第一个高潮 20世纪60年代，冯 ·诺依曼型数字计算机正处于发展的 20世纪60年代，冯 ·诺依曼型数字计算机正处于发展的 全盛时期，人工智能在符号处理上也取得显著成就，掩 全盛时期，人工智能在符号处理上也取得显著成就，掩 盖发展新型模拟计算机和人工智能技术的必要性和迫切 盖发展新型模拟计算机和人工智能技术的必要性和迫切 性，神经网络的研究陷入困境 性，神经网络的研究陷入困境 明斯基与帕伯特分析以感知器为代表的神经网络系统的 明斯基与帕伯特分析以感知器为代表的神经网络系统的 功能及局限性后，1969年发表 《感知器》，指出感知器 功能及局限性后，1969年发表 《感知器》，指出感知器 仅能进行线性分类，不能解决异或问题 仅能进行线性分类，不能解决异或问题 过渡期 时间大致为1970年至1986年 1972年，科霍宁提出自组织映射理论，称为联想存储器， 是一种无导师学习网络 1976年，格罗斯伯格提出自适应共振理论模型，指出全部 神经元中有一个节点特别兴奋，其周围神经元将受到抑制 1982年，霍普菲尔德对神经网络的动态特性进行研究，引 入能量函数，给出网络稳定性判据，提出用于联想记忆和 优化计算的新途径，为神经网络进一步研究注入新活力 1984年，他提出连续神经网络模型，神经元动态方程用运 算放大器实现，用电子线路实现该网络的仿真，成功解决 复杂度为NP的旅行商问题 1984年，Hinton等提出一种随机神经网络模型—— Boltzmann机，学习过程采用模拟退火技术，有效克服 Hopfield网络存在的能量局部极小问题 1986年，儒默哈特等出版《并行分布处理》，提出多层 前馈神经网络反向传播学习算法，证明多层神经网络可 以完成许多学习任务，解决许多实际问题 这期间神经网络的研究逐步从困境中走出来，取得突破 性重要成果，使神经网络的研究步入健康发展新时期 发展期 时间从1987年至今 1987年6月，圣地亚哥召开第一届世界神经网络会议，成 立国际神经网络联合会，标志神经网络研究世界范围内形 成高潮 美国国防部高等研究工程局1988年11月开始一项投资数亿 美元的发展神经网络及其应用研究的八年计划 1988年，《神经网络》问世，为神经网络研究工作者提供 很好的信息交流和合作平台 20世纪90年代以后，神经网络国际会议接连不断，许多重 要研究成果纷纷发表。1993年，《IEEE 神经网络汇刊》 问世，许多期刊不断推出神经网络专辑，90年代初期，形 成研究神经网络热潮 1989年，广州召开全国第一届神经网络—信号处理会议 1990年，北京召开第一届中国神经网络学术会议 1991年，南京召开第二届中国神经网络学术会议，此后每 年召开一次 对神经网络研究热潮的出现，存在的疑虑 最悲观估计认为这一领域的发展会带来重大研究成果 最乐观估计认为将建立能解决知识表达、推理、学习、 联想、记忆乃至复杂社会现象的统一模型 神经网络的研究及其应用会推动科学本身的发展，将对新 一代计算机的设计产生重大影响，有可能为新一代计算机 和人工智能的研究开辟一条崭新途径 二 神经网络的特性 并行处理 具有巨量信息并行处理和大规模并行计算能力，每个 神经元对所接收信息作相对独立处理，各神经元间可