[神经网络.pptxVIP

神经网络(智能计算方法与应用)上海**通信技术有限公司seniordba@(2013-12) 培训大纲一、神经网络基础二、感知机三、BP网络神经网络基础1. 人类的大脑二十世纪初，科学家通过新的细胞染色方法得知人的大脑是一个由数以十亿计的细胞构成的无比复杂的网络。人脑平均包含超过1015条内部连接，即一立方厘米中就超过109条连接。人脑内部结构十分复杂，总体上可以看做是一个分区的并行处理器，能够完成记忆、理解、学习、推理、判断以及控制等复杂的工作人脑的剖面图大脑：最上方，分左右大脑半球小脑：大脑后下方，脑干背侧脑干：大脑下，小脑前，下连脊髓大脑脑干小脑脑干胼胝体脑干的功能主要是维持个体生命，包括心跳、呼吸、消化、体温、睡眠等重要生理功能。中脑下丘脑小脑垂体脊髓延髓脑桥脑干自下而上由延髓、脑桥、中脑三部分组成 神经网络基础2. 生物神经元神经元从外部形态结构上看是由细胞体(soma),以及树突(dendrite)和轴突(axon)这两类突起组成的。通常树突接受刺激信息，并向胞体传送，经细胞体整合后由轴突传出，如图所示：神经网络基础3. 突触突触(synapse)是神经元之间进行信息传递的特异性功能接触部位。借助于突触，神经元相互联系构成了神经系统。突触的形态如图所示。突触根据其功能可以分为兴奋型(Excitatory)突触和抑制型(Inhibitory)突触。神经网络基础4. 神经元的电活动所谓神经元的电活动就是在信息传递过程中神经元的膜电位变化的过程。其最主要的行为表现为动作电位的发放，也就是我们常说的神经元的电脉冲。4. 神经元的电活动特性信息以预知的确定方向传递 一个神经元的树突、细胞体－轴突－突触－另一个神经元树突时空整合功能对不同时间通过同一突触传入的信息具有时间整合功能对同一时间通过不同突触传入的信息具有空间整合功能工作状态兴奋状态，对输入信息整合后使细胞膜电位升高，当高于动作电位的阈值时，产生神经冲动，并由轴突输出。抑制状态，对输入信息整合后使细胞膜电位降低，当低于动作电位的阈值时，无神经冲动产生。5. 生物神经网络生物神经网络就是由突触连接的神经元形成的网络，网络内部的信息传递以神经元的电活动为基础。人脑能够实现的种种神奇而复杂的功能实际上就是生物神经网络的功能。6. 人工神经网络模拟生物神经网络由简单的处理单元(神经元)组成的大规模并行分布式处理器T.Koholen（芬兰赫尔辛基技术大学）定义：人工神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体作出的交互反应。7.人工神经元及其互连结构人工神经网络的基本处理单元－人工神经元模拟主要考虑两个特性：时空加权，阈值作用。其中对于时空加权，模型分为两类，即考虑时间特性，不考虑时间特性。ee阈值兴奋型输入 θY 输出 i i抑制型输入神经网络发展史1. 第一阶段——发展期1943年，麦卡洛克 皮茨（McCulloch Pitts）提出了 一个简单的神经元模型，即M-P数学模型。 1958年，Rosenblatt（罗森布拉特）等研制出了感知机。M-P模型输入输出关系表输入条件输出 M-P模型对抑制型输入赋予了“否决权”，只有当 ， 且 时，才有y＝1，其它时候 y＝0。神经网络发展史1949年，Hebb（赫布）提出了Hebb规则1969年，Minsky（明斯基）和Papert（帕尔特）发表”Perceptrons”第二阶段——兴盛期1982年， 美国物理学家Hopfield 提出Hopfield模型。它是一个互联的非线性动力学网络。它解决问题的方法是一种反复运算的动态过程，这是符号逻辑处理所不具备的性质。1982年，SOM网络 (Kohonen)；1986年，BP网络(Rumelhart，Hinton Williams)；1988年，RBF网络(Broomhead Lowe) 人工神经元模型 通用模型求和操作响应函数人工神经元模型 响应函数的基本作用控制输入对输出的激活作用对输入、输出进行函数转换将可能无限域的输入变换成指定的有限范围内的输出 常见神经元响应函数(a)阈值单元 (b)线性单元(c)(d)非线性单元：Sigmoid函数 一些典型的特性函数 阈值型 线性 s型神经网络基本模型神经元的数学模型 其中x＝（x1，…xm）T 输入向量，y为输出，wi是权系数；输入与输出具有如下关系：θ为阈值，f（X）是激发函数；它可以是线性函数，也可以是非线性函数． 例如，若记 取激发函数为符号函数 则 S型激发函数： （1） 或 注：若将阈值看作是一个权系数，-1是一个固定的输入，另有m-1个正常的输入，则（1）式也可表示为： 参数识别：假设函数形式已知，则可以从