人工神经网络绪论课件知识课件.ppt

历史总结 神经网络的研究已有50多年的历史，它的发展道路是曲折的，几经兴衰，目前已在许多领域得到了成功的应用。 * * 历史总结 上世纪40年代 兴奋与抑制型神经元模型（Mcculloch，Pitts） 神经元连接强度的修改规则（Hebb） 上世纪50年代、60年代 感知机（Rosenblatt）和自适应性元件（Widrow） 上世纪70年代 Perceptron一书出版（Minsky和Papert）研究处于低潮 上世纪80年代后 Rumelhart，Mcclelland以及Hopfield等取得突破性进展 (1)开发现有模型的应用，并在应用中根据实际运行情况对模型、算法加以改造，以提高网络的训练速度和运行的准确度。 (2)充分发挥两种技术各自的优势是一个有效方法 (3)希望在理论上寻找新的突破，建立新的专用/通用模型和算法。 (4)进一步对生物神经系统进行研究，不断地丰富对人脑的认识。 新时期研究热点问题 理论方面 支持向量机和核方法(SVM and Kernel Methods) 图模型(Graphical Models) 统计学习方法(Statistical Learning Algorithm) 高斯过程（Gaussian Process) 泛化问题和模型选择(Generalization and Model Selection) 贝叶斯学习(Bayesian Learning) 递归神经网络(Recurrent Neural Networks)等 * 新时期研究热点问题 * 实际应用 图象处理(Image Processing) 人脸识别(Face Recognition) 语音信号处理(Voice Processing) 时间序列分析(Time Series Analysis) 机器人控制(Robot Control)等 新时期研究热点问题 国家自然科学基金资助 2006年有42项研究课题 2005年有40项研究课题 2004年有32项研究课题 2003年有26项研究课题 2002年有26项研究课题 2001年有18项研究课题 2000年有20项研究课题 1999年有22项研究课题 * 神经网络研究的比重逐年增加，已经引起越来越多的国内学者的关注，并成为信息学科的一个研究热点和重点。 * 1988年，《Neural Networks》创刊 1990年，《IEEE Transactions on Neural Networks》创刊 国际学术期刊 《IEEE Trans. on Neural Networks》 《Neural Networks》 主要内容 第一章：引论 智能的概念、智能系统的特点及其描述基本模型，人工神经网络的特点、发展历史、及其应用领域。 主要内容 第二章 神经元模型和网络结构 　　生物神经网络模型，人工神经元模型与典型的激励函数；人工神经网络的基本拓扑特性，存储类型及映象。 主要内容 第三章 感知器 感知器与人工神经网络的早期发展；单层网能解决线性可分问题，而无法解决线形不可分问题，要想解决这一问题，必须引入多层网；Hebb学习律，Delta规则，感知器的训练算法 主要内容 第四章 线性神经网络和LMS算法 　　自适应线性神经元ADALINE(Adaptive Linear Neuron),它是线性神经网络最早的典型代表,其学习算法称之为 LMS (least mean squares最小均方差)算法或Widrow-Hoff学习规则。 主要内容 第五章 BP神经网络 BP（Ｅrror Back propagation）网络的构成及其训练过程；隐藏层权调整方法的直观分析，BP训练算法中使用的Delta规则（最速下降法）的理论推导；算法的收敛速度及其改进讨论；BP网络中的几个重要问题。 主要内容 第六章 Hopfield网络 离散型Hopfield网络和连续性Hopfield网络，Hopfield网络是以电路方式提出的反馈网络；可用于联想记忆和优化计算；用能量函数评价网络的稳定性；可用于求解组合优化问题(TSP问题) 。 主要内容 第七章 Boltzmann机网络 Boltzmann机将模拟退火算法引入Hopfield网络，可以利用模拟退火的优点跳出局部最优，而达到全局最优化。学习以统计学和概率方法研究随机神经网络。 * * 主要内容 第八章 自适应共振理论 人脑的稳定性与可塑性问题；ART模型的总体结构与分块描述；比较层与识别层之间的两个联接矩阵的初始化，识别过程与比较过程，查找的实现；训练讨论。