神经网络基本理论资料.pptx

第2章 神经网络基本理论2.1 神经网络的概述 2.1.1 神经网络的概念2.1.2 神经网络的发展 2.1.3 神经网络的特点2.2 神经网络的结构与分类 2.2.1 神经元的基本结构2.2.2 神经网络基本结构 2.2.3 神经网络的分类 2.3 神经网络的学习方法 2.3.1 BP算法的基本原理2.3.2 BP算法的特点 2.3.3 BP算法的改进2.4 神经网络的应用2.1 神经网络概述2.1 神经网络概述 2.1.1 神经网络的概念 人工神经网络（Artificial neural network，简称ANN）简称为神经网络，是相对于生物学中的生物神经网络而言的，是由许多被称为神经元（Neuron）的基本计算单元通过广泛联结所组成的自适应非线性动态系统。 网络的信息处理由神经元之间的相互作用来实现，网络的学习与识别决定于各神经元的动态演化过程。它是在现代生物神经科学研究成果的基础上提出来的，反映了人脑功能的基本特征。2.1 神经网络概述 生物神经网络（Biological Neural Networks）一般指生物的大脑神经元、细胞、触点等组成的网络，用于产生生物的意识，帮助生物进行思考和行动 。 生物神经系统是由大量的神经细胞（神经元）组成的一个复杂的系统。据统计，人脑约有1010~1011个神经元。 每个神经元与103~105个其他神经元相连，从而构成一个极为复杂庞大的网络。神经元一般由胞体、树突、轴突三部分组成，如图1所示。2.1 神经网络概述 ? 胞体：也称为细胞体，包括细胞质、细胞核和细胞膜三部分，是细胞的营养中心。 ? 树突：胞体的伸延部分产生的分枝称为树突，是接受从其它神经元传入的信息入口。但不一定是神经传入的唯一通道，还可以是胞体膜。 ? 轴突：每个神经元只有一个轴突，一般自胞体发出，与一个或多个目标神经元连接，为神经元的输出通道，其作用是将细胞体发出的神经冲动传递给另一个或多个神经元。2.1 神经网络概述【附】人脑的活动（来自百度百科） ① 如能把大脑的活动转换成电能， 相当于一只20瓦灯泡的功率； ② 根据神经学家的部分测量，人脑的神经细胞回路比今天全世界的电话网络还要复杂1400多倍； ③ 每一秒钟人的大脑中进行着10万种不同的化学反应； ④ 人体5种感觉器官不断接受的信息中，仅有1%的信息经过大脑处理，其余99%均被筛去； ⑤ 大脑神经细胞间最快的神经冲动传导速度为400多公里/小时； ⑥人体内有45英里的神经；2.1 神经网络概述 ⑦ 人的大脑平均为人体总体重的2%，但它需要使用全身所用氧气的25%，相比之下肾脏只需12%，心脏只需7%。神经信号在神经或肌肉纤维中的传递速度可以高达每小时200英里； ⑧ 大脑的四周包着一层含有静脉和动脉的薄膜，这层薄膜里充满了感觉神经。但是大脑本身却没有感觉，即使将脑子一切为二，人也不会感到疼痛； ⑨ 人的大脑细胞数超过全世界人口总数2倍多，每天可处理8600万条信息，其记忆贮存的信息超过任何一台电子计算机。2.1 神经网络概述【附】人脑的结构与功能 人脑分为左右脑，交叉进行支配。即左脑支配人体的右侧，右脑支配人体的左侧，大脑受伤会使他支配的那部分身体产生功能障碍。 左右脑具有不同的功能。左脑主要是语言中枢，同时从事分析性工作，如逻辑推理、数学运算和写作等。右脑主要处理空间概念和模式识别。 人工智能可看成是对人脑左脑功能的研究，主要基于逻辑思维，如计算机就是模拟人脑逻辑思维的人工智能系统。 人工神经网络是探索人的形象思维，即针对右脑的认知规律的研究产物。2.1 神经网络概述【附】人脑与电脑的区别 记忆与联想方面：人脑具有非凡的创造能力和良好的学习认知能力，如婴儿智力的发展。 信息综合能力方面：人脑善于归纳总结、类比和概括，也可以经验、模糊甚至直觉地作出判断。 信息处理速度方面：人脑中的信息处理是以神经细胞为单位，传递速度只能达到毫秒级，计算机可达到纳秒级甚至皮秒级。但在图形声音等信息处理方面速度要快于计算机，如人的识别等。 信息处理机制方面：人脑中的神经网络是一种高度并行的非线性信息处理系统，而计算机采用的是有限集中的串行信息处理机制。2.1 神经网络的概述2.1.2 神经网络的发展 人工神经网络的研究始于1943年，经历了从兴起到萧条，又从萧条到兴盛的发展历程。大致分为五个阶段： ? 初创期：标志就是提出模型，建立规则。 1943年，法国心理学家W.S.McCulloch和数理逻辑学家W.Pitts在分析、总结神经元基本特性的基础上，提出神经元的数学模型（即M-P神经网络模型），拉开了人工神经网络的研究序幕。 1949年，心理学家D.O.Hebb提出神经元之间突触强度的调整规则假说，即Hebb规则，该规则至今仍