计算机科学基础——c程序设计课程改革介绍-东南大学自动化.pdfVIP

《神经网络设计》 ——结构设计的理论与方法 概论 神经网络简介 开课目的 课程内容 教材与参考资料 关于作业与考试 一、神经网络简介 什么是神经网络？ “神经网络”是近20年来各个领域应用和理论研究最热门的 术语之一。 “神经网络”也称“人工神经网络”，是指用大量的简单计算 单元（即神经元）构成的非线性系统，它在一定程度和层次 上模仿了人脑神经系统的信息处理、存储及检索功能，因而 具有学习、记忆和计算等智能处理功能。 一、神经网络简介 神经网络发展过程：初始发展期 1943年，W. McCulloch和W. Pitts 提出了MP模型 ：神经元 的最基本模型； 1949年，神经生物学家D. Hebb （被称为神经网络之父）发 现，脑细胞之间的通路在参与某种活动时将被加强（Hebb学 习规则）； 1957年，F. Rosenblat提出了感知器模型； 1960年，B. Widrow 和M. Hoff提出了自适应线性单元。 一、神经网络简介 神经网络发展过程：低潮时期 1969年，人工智能的创始人M. Minsky和S. Papert发表了 《感知器》（《Perceptrons》）； 1982年由加州理工大学教授H. Hopfield提出的Hopfield神经 网络； 1967年，日本科学家S. Amari （甘利俊一）提出了BP算法的 原型算法。 一、神经网络简介 神经网络发展过程：复兴时期 1985年，Rumelhart等人给出了多层感知器的权值训练的 误差反向传播学习算法（BP算法），从而解决了Minsky认为 不能解决的多层感知器的学习问题。自此引导了神经网络的 复兴，神经网络研究也进入了一个崭新的发展阶段。 一、神经网络简介 神经网络研究内容 1. 神经网络理论研究 2. 神经网络实现技术 3. 神经网络应用研究 二、开课目的 本课程旨在： 了解神经网络的基本工作原理和使用方法。 了解神经网络的主要使用方法。 为神经网络与其他密切相关学科（机器学习、模 式识别、非线性系统建模、软测量、信号处理 等）建立桥梁。 最终目的：理解神经网络性能与结构之间的关系， 有针对性地学会用神经网络解决实际问题。 三、课程内容 神经网络基础理论部分： 神经元模型及其学习规则。 常用前馈神经网络（多层感知器、RBF网等）的工 作原理和主要学习算法。 常用反馈神经网络（Hopfield网、自组织特征映射 等）的工作原理和主要学习算法。 三、课程内容 神经网络设计理论（泛化理论）： 神经网络设计和学习过程中出现的主要问题： 局部最小、性能不稳定、奇异现象等。 影响神经网络性能的主要因素：训练样本、训 练时间、神经网络结构等。 各因素影响神经网络性能的机理分析。 三、课程内容 神经网络设计方法（泛化方法）： 参数优化设计：不优化神经网络结构的前提下 提高神经网络的性能。 神经网络结构优化设计1 ：构造设计方法。 介绍神经网络模型逐步增长设计方法。 神经网络结构优化设计2 ：剪枝设计方法。 介绍神经网络模型逐步减小设计方法。 神经网络结构优化设计3 ：进化设计方法。 神经网络结构优化设计4 ：混杂设计方法。 结构设计方法来自：近20年主要英文刊物。 四、教材与参考资料 本课程教材：《神经网络结构设计的理论与