神经网络_配套ppt.pptVIP

绪论 神经网络设计 课程目标 • 目标 神经网络基本结构 学习规则 • 重点 网络的工作原理 网络的训练方法 网络在诸如模式识别等实际工程问题中的应用 省略的内容 所有神经网络结构和学习规则的分类和纲要 实现 超大规模集成电路（VLSI） 光学器件 并行计算机 生物学 心理学 历史回顾 启蒙期 (从神经网络研究开始到第一次热潮结束） 1943年，McCulloch和Pitts提出第一个神经元数学模型，即M-P模型，并从原理上证明了人工神经网络能够计算任何算数和逻辑函数 1949年，Hebb发表《The Organization of Behavior》一书，提出生物神经元学习的机理，即Hebb学习规则 1958年，Rosenblatt提出感知机网络(Perceptron)模型和其学习规则 1960年，Widrow和Hoff提出自适应线性神经元(Adaline)模型和最小均方(LMS)学习算法 历史回顾（续） 低潮期 (尽管步伐缓慢，但仍在前进) 1969年，Minsky和Papert发表《Perceptrons》一书，指出感知机网络的局限性，及对多层感知机隐层神经元学习问题抱悲观态度，导致神经网络研究停滞了十多年 1969年，Grossberg提出自适应共振理论(ART)模型 1972年，Kohonen提出自组织映射(SOM)理论，称其神经网络结构为联想存储器 同时，Anderson也独立地提出一个类似的神经网络结构，命名为交互存储器 1979年，Fukushima提出新认知机(Neocognitron)模型 历史回顾（续） 复兴期(重要的新进展复兴了人工神经网络研究) 1982年，物理学家Hopfield发表一篇学术论文，提出了一种具有联想记忆、优化计算能力的递归网络模型，即Hopfield 网络 1986年，Rumelhart等编辑的著作《Parallel Distributed Processing: Explorations in the Microstructures of Cognition》报告了反向传播(BP)算法发展，提出了它在机器学习中的应用 1987年，IEEE在美国加州圣地亚哥召开第一届神经网络国际会议 (ICNN) 1988年，《Neural Networks》杂志创刊 1990年，《IEEE Transactions on Neural Networks》杂志创刊 生物学的启示 人脑具有巨大的并行计算能力 – 大脑约有1011个神经元 – 每个神经元约有104个连接 神经元相对于电子线路要慢许多 – 10-3 秒相对于10-9 秒 树突（输入） 轴突（输出） 突触（权） 细胞体 神经网络期刊及其SCI影响因子 国际期刊 专门的神经网络期刊 SCI影响因子 《Neural Computation》 2.229 《IEEE Transactions on Neural Networks》 2.62 《Neural Networks》 2 《Neurocomputing》 0.86 《Neural Processing Letters》 0.753 《Neural Computing and Applications》 0.61 神经网络期刊及其SCI影响因子 国际期刊（续） 包括神经网络研究的期刊 SCI影响因子 《Machine Learning》 2.654 《Artificial Intelligence》 2.271 《Journal of Machine Learning Research》 2.255 《Journal of Artificial Intelligence Research》