神经网络原理与应用 第1讲：基础知识.pptVIP

;;;神经元结构;图2-2 神经元之间突触联系;网状网络;人工神经网络基础(研究生用教材) 丁士圻、郭丽华 人工神经网络技术及其应用 王洪元 、史国栋 书名:面向MATLAB工具箱的神经网络理论与应用 作者:丛爽 出版社：中国科学技术大学出版社 MATLAB神经网络30个案例分析 作　　者：MATLAB中文论坛 编著 出 版 社：北京航空航天大学出版社;;考核;;;PDRNN网络的训练过程;;判断程序;;;;第1讲： 神经网络信息处理方法 1.1 神经网络的基本概念 1.神经网络定义 关于神经网络的定义尚不统一，按美国神经网络学家Hecht Nielsen的观点，神经网络的定义是：“神经网络是由多个非常简单的处理单元彼此按某种方式相互连接而形成的计算机系统，该系统靠其状态对外部输入信息的动态响应来处理信息”。综合神经网络的来源﹑特点和各种解释，它可简单地表述为：人工神经网络是一种旨在模仿??脑结构及其功能的信息处理系统。;2.神经网络发展史 第一阶段——启蒙时期 这是神经网络理论研究的奠基阶段，1943年，神经生物学家MeCulloch和青年数学家Pitts合作，提出了第一个人工神经元模型，并在此基础上抽象出神经元的数理模型，开创了人工神经网络的研究，以MeCulloch和Pitts提出人工神经元的数理模型（即神经元的阀值模型，简称MP模型）为标志，神经网络拉开了研究的序幕。 *1949年Hebb学习法则提出，为构造有学习功能的神经网络模型奠定了基础。 *1958年Rosenblatt在原有MP模型的基础上增加了学习机制[5]。他提出的感知器模型，首次把神经网络理论付诸工程实现. ;第二阶段——低潮时期 1969年人工智能的创始人之一Minsky和Papert对以感知器为代表的网络系统的功能及局限性从数学上做了深入研究，发表了轰动一时《Perceptrons》一书，指出简单的线性感知器的功能是有限的，它无法解决线性不可分的两类样本的分类问题，如简单的线性感知器不可能实现“异或”的逻辑关系等。 开始了神经网络发展史上长达10年的低潮期。 *1972年，芬兰的Kohonen T教授，提出了自组织神经网络SOM(Self-Organizing feature map) . *1976年，美国Grossbeng S.教授提出了著名的自适应共振理论ART(Adaptive Resonance Theory)，其学习过程具有自组织和自稳定的特征。 *1980年日本人福岛邦彦（Kunihiko Fukushima）发表的“新认知机”(Neocognitron)。 ;第三阶段——复兴时期 这是神经网络理论研究的主要发展时期。1982年， 美国国家科学院的刊物上发表了著名的Hopfield模型的 理论。Hopfield构造出Laypunov函数，并证明了网络 在平衡点附近的稳定性，还将这种模型用电子电路来 实现。Hopfield的模型不仅对人工神经网络信息存储 和提取功能进行了非线性数学概括，提出了动力方程 和学习方程，使人工神经网络的构造和学习有了理论 指导。 ;*1986年，由Rumelhart和McCkekkand主编的有16位作者参加撰写的《Parallel Distributed Processing：Exploration in the Microstructures of Cognition》出版[20]，该书中，他们建立了并行分布处理理论，主要致力于认知的微观研究，同时对具有非线性连续转移函数的多层前馈网络的误差反向传播算法即BP算法进行了详尽的分析，解决了长期以来没有权值调整有效算法的难题。可以求解感知机所不能解决的问题，回答了《Perceptrons》一书中关于神经网络局限性的问题，从实践上证实了人工神经网络有很强的运算能力，BP算法是目前最引人注目﹑应用最广泛的神经网络算法之一。 *细胞神经网络（CNN）模型;双向联想存储模型（BAM); 光学神经网络（PNN）;混沌神经网络理论等。 ;在国内：1989年10月和11月分别在北京和广州召开了神经网络及其应用讨论会和第一届全国信号处理-神经网络学术会议；1990年2月由国内八个学会，即中国电子学会﹑人工智能学会﹑自动化学会﹑通信学会﹑物理学会﹑生物物理学会和心理学会联合在北京召开“中国神经网络首届学术会议”。这次大会以“八学会联盟，探智能奥秘”为主题，收到了300多篇学术论文，开创了中国人工神经网络及神经计算机方面科学研究的新纪元。2004年8月在中国大连召开的ISNN2004国际会议，引起了国内外神经网络研究者的广泛关注，产生了较大的影响；另外，国内外许多相关的学术会议都设有人工神经网络专题，如国内的WCICA﹑CIAC﹑CDC﹑CCC及国外