智能计算方法陈东岳第二章神经网络76.pptxVIP

智能计算方法与应用;1. 人类的大脑 二十世纪初，科学家通过新的细胞染色方法得知人的大脑是一个由数以十亿计的细胞构成的无比复杂的网络。人脑平均包含超过1015条内部连接，即一立方厘米中就超过109条连接。 人脑内部结构十分复杂，总体上可以看做是一个分区的并行处理器，能够完成记忆、理解、学习、推理、判断以及控制等复杂的工作 ;2. 生物神经元 神经元从外部形态结构上看是由细胞胞体(soma),以及树突(dendrite)和轴突(axon)这两类突起组成的。通常树突接受刺激信息，并向胞体传送，经胞体整合后由轴突传出，如图所示： ;3. 突触 突触(synapse)是神经元之间进行信息传递的特异性功能接触部位。借助于突触，神经元相互联系构成了神经系统。突触的形态如图所示。突触根据其功能可以分为兴奋型(Excitatory)突触和抑制型(Inhibitory)突触。;4. 神经元的电活动 所谓神经元的电活动就是在信息传递过程中神经元的膜电位变化的过程。其最主要的行为表现为动作电位的发放，也就是我们常说的神经元的电脉冲。;5. 生物神经网络 生物神经网络就是由突触连接的神经元形成的网络，网络内部的信息传递以神经元的电活动为基础。人脑能够实现的种种神奇而复杂的功能实际上就是生物神经网络的功能。 6. 人工神经网络 模拟生物神经网络由简单的处理单元(神经元)组成的大规模并行分布式处理器 ;1. 第一阶段——初始发展期 1943年，(M-P)数学模型（McCulloch Pitts）； 1944年，Hebb规则（Hebb）； 1957年，感知器硬件模型（Rosenblatt）； 1962年，Adaline（Windrow Hoff） ;2. 第二阶段——低谷期 1967年，随机梯度法自适应模式分类(Amari)； 1969年，《Perceptron》发表(Minsky Papert)； 70年代，“置信问题”爆发 70年代，ART竞争网络（Grossberg）； 70年代，SOM自组织网络（Willshaw Malsberg） ;3. 第三阶段——兴盛期 1982年，Hopfield网络； 1982年，SOM网络 (Kohonen)； 1983年，增强学习的引入(Barto)； 1985年，Bolzmann机(Ackley Hinton)； 1986年，BP网络(Rumelhart，Hinton Williams)； 1988年，盲源分离(ICA前身，Linsker) 1988年，RBF网络(Broomhead Lowe) 1995年，支撑向量机(Vapnik);1. 人工神经元模型结构;1. 人工神经元模型 函数sgn()有多种选择;2. 神经网络结构 前馈型：没有回路 反馈型：存在回路 3. 神经网络“层”的概念 输入层 输出层 中间层(隐层，可以为多层) ;4. 神经网络性能 稳定性：对于反馈神经网络而言，系统的输出是动态的，如果把整个神经网络看成是一个控制系统，则该系统的输出最终是否会收敛至一个稳定状态就反应了该网络的稳定性 鲁棒性：当网络的某些神经元或某些连接权被破坏时，系统仍然能够继续工作的能力 适应性：当外界环境(输入信号的统计特性)发生变化时，系统能够自适应地调整内部参数的能力。即网络的学习能力 ;5. 神经网络参数与学习方式 参数：权值wi和θ 学习方式： 有监督学习(Supervised Learning)——已知一组正确的输入输出结果的条件下，神经网络依据这些数据，调整并确定权值； 无监督学习(Unsupervised Learning)——只有输入数据，没有正确的输出结果情况下，确定权值。 增强学习(reinforcement Learning)——只有输入数据和对应的奖励或惩罚信号;6. 神经网络学习规则 相关规则 Hebb规则 纠错规则 感知器学习规则 δ学习规则，广义δ学习规则 Bolzmann规则 梯度下降法 竞争规则 竞争学习规则，侧抑制学习规则;1. 神经网络模型分类及应用列表;1. 神经网络模型分类及应用列表;2. 人工神经网络的工作特点 利用神经元连接和连接强度来存储知识，而非存储器。 学习能力强，鲁棒性、容错性好。 分布式存储与分布式信息处理。 并行非线性动力学系统 非编程，联想记忆，连接主义。 应用范围极广，几乎可以囊括所有的计算技术;3. 人工神经网络的发展方向 ANN模型研究 ANN基本理论研究 信息处理系统及软计算技术的应用 人工神经网络计算机 神经科学及生理学建模;4.人工神经网络在信息处理领域的应用 模式分类与识别 图像、视频、语音分类，故障诊断…… 最优化 连续函数寻优，动态规划…… 函数逼近与概率密度估计 数据挖掘 数据库技术，模式聚类…… 智能控制 工业模型，机器人导航