数学建模模拟试题b-公开课件.pptVIP

* 18 * Martin T.Hagan Howard B. Demuth 著 Mark H. Beale 戴 葵等译 机械工业出版社 * 神经网络设计 神 经 网 络 模 型 神 经 网 络 基 础 感 知 机 学 习 规 则 有 监 督 的 Hebb 学 习 Widrow Hoff 学 习 算 法 反 向 传 播 联 想 学 习 竞 争 网 络 Cross -berg 网 络 自 适 应 谐 振 理 论 Hop- field 网 络 * 神经网络基础 神经网络的发展与应用 现代计算机有很强的计算和信息处理能力，但是它对于模式识别、感知和在复杂环境中作决策等问题的处理能力却远不如人，特别是它只能按人事先编好的程序机械地执行，缺乏向环境学习、适应环境的能力。早在 20 世纪初，人们已经知道人脑是由极大量基本单元（称之为神经元）经过复杂的互相连接而成的一种高度复杂的、非线性的、并行处理的信息处理系统。单个神经元的反应速度是在毫秒级，比起计算机的基本单元——逻辑门（反应时间在 10-9s量级）低5～6 个数量级。由于人脑的神经元数量巨大（约为 1010个），每个神经元可与几千个其他神经元连接（总连接数约为 6×1013），对有些问题的处理速度反而比计算机快得多。 * 神经网络基础 神经网络的发展与应用 人们自然会想到，大脑的组织结构和运行机制必有其绝妙的特点。从模仿人脑智能的角度出发，来探寻新的信息表示、存储和处理方式，设计全新的计算机处理结构模型，构造一种更接近人类智能的信息处理系统来解决实际工程和科学研究领域中传统的冯·诺依曼计算机难以解决的问题，必将大大促进科学进步，并会在人类生活的各个领域引起巨大变化，这就促使人们研究人工神经网络（artificial neural networks）系统。简而言之，它是一种具有大量连接的并行分布式处理器，它具有通过学习获取知识并解决问题的能力，且知识是分布存储在连接权（对应于生物神经元的突触）中，而不是像常规计算机那样按地址存在特定的存储单元中。 * 神经网络基础 神经网络的发展与应用 尽管目前人们对大脑的神经网络结构、运行机制，甚至单个神经细胞的工作原理的了解还很肤浅，但是基于生物神经系统的分布式存储、并行处理、自适应学习这些现象，已经构造出有一定初级智能的人工神经网络。当然这种人工神经网络仅仅是对大脑的粗略而且简单的模拟，无论是在规模上、功能上与大脑相比都还差得很远。从 20世纪80 年代初神经网络的研究再次复苏并形成热点以来，发展非常迅速，从理论上对它的计算能力、对任意连续映射的逼近能力、学习理论以及动态网络的稳定性分析上都取得了丰硕的成果。特别是在应用上已迅速扩展到许多重要领域。印刷体和手写体字符识别，语音识别，签字识别，指纹，人脸识别， DNA序列分析，癌细胞识别，目标检测与识别，心电图、脑电图分类，图像压缩、复原等。 * 神经网络模型 人工单神经元模型： 根据神经元机理，人工单神经元模型应具备三个要素： (1）一组连接，连接强度由各连接上的权值表示，权值 为正表示激活，权值为负表示抑制； (2) 一个求和单元，用于求取各输入信号的加权和； (3) 一个非线性激活函数，起非线性映射作用，并将 神经元的输出幅度限制在一定范围内（比如(0,1)或 者(-1,+1)）. * 神经网络模型(续) p1 ∑ f … a n b W1 WR p2 p3 pR 1 常用的激活函数见page11表2-1 单神经元结构 * 神经网络模型(续) 多神经元结构 W1,1 p1 … Ws,R p2 p3 pR ∑ f a1 n1 b1 1 ∑ f a2 n2 b2 1 ∑ f as ns bs 1 … … * 神经网络模型(续) 多神经元结构: 记输入矢量为P，多神经元权矩阵为 W,净输入矢量为n，偏值矢量为b，激活矢量函数为F，则多神经元输出矢量为a为： * 神经网络模型(续) 某一多神经元网络的输出作为另一多神经元网络的输入，以这样连接方式构成多神经元、多层次网络就成为人工神经网络。连接方式可以是串连、并联，也可以是反馈连接方式。我们以串连方式来说明问题。 p1 … … … ∑ f 1 ∑ f 1 ∑ f 1 p2 p3 pR … … ∑ f 1 ∑ f 1 ∑ f 1 … … ∑ f 1 ∑ f 1 ∑ f 1 输入层 隐含层 输出层 * 神经网络模型(续) 设计神经网络需要解决的问题： 1、神经网络的层数； 2、每一层神经网络的神经元的个数； 3、神经元之间的连接权值。 设计训练样本，通过学习来获得。 存在问题： 训练样本有限，不可能遍历，即有限样本逼近无限的情况，导致神经网络