[工学]人工神经网络软计算-2.pptVIP

第二章 神经网络原理 第1节 神经网络基础 1、人脑 人类具有比其它生物更加优秀的脑，所以产生了文明与进步 高度的学习能力、模式识别能力，广泛的适应能力、抽象的思考能力等，正是因为有了进化的脑，才成为可能 通过语言的发明，人与人之间复杂、微妙的交流成为可能，也是一大要因 由大脑支配的活动 环境输入 维持生命活动 精神活动 看 体温调节 记忆 听 心律调节 思考 闻 呼吸 想象 感触 荷尔蒙调节 推理 味觉 运动控制 判断 睡眠 创造 由大脑支配的活动 分为三类： 来自环境的输入 维持生命的活动 精神活动 特征：精神活动、特别是创造力优秀 人脑的构造：可分为大脑、小脑、脑干（间脑，中脑，脑桥，延髓） 其中，起最重要作用的是大脑 人脑的功能 与各机能相对应的大脑的部位图 人脑，前头叶与侧头叶显著发达 其中，前头叶是创造、思考等的高度的精神活动的重要的部位 与听觉相对应的部位位于两耳的附近 来自眼睛的视觉信息先送到脑的后部（后头叶），再往前部返回 在该过程中进行知觉、认识、理解等的动作 人脑的构造 大脑、小脑、脑干 其中，起最重要作用的是大脑 构成脑的细胞，有神经细胞与胶质细胞 神经细胞：140亿左右 胶质细胞：神经细胞的5-10倍 神经细胞与信息处理直接相关 胶质细胞给神经细胞提供能量，起到帮助神经细胞的活动的作用 脑中，神经细胞很重要！ 约140亿个神经元，结合成神经网络 神经网络的活动决定了大脑的功能 大脑的神经网络系统构成了大脑信息处理的主体 神经细胞自出生其数量不再增加！ 但人脑由出生时的400克左右，到成年人的1200-1500克左右，为什么增加？ 原因： 1）胶质细胞的增加 2）神经细胞间的连接强度的增加 随着成长，神经细胞间的连接变得多了起来，就象人类随着成长，认识越来越多的人，人际关系网络越来越大一样 2、神经元的信息处理方式 神经元的基本构造：由细胞体、树突和轴突组成 树突：由细胞体向外伸出的许多树枝状较短的突起，是信息的输入通道 轴突：由细胞体向外伸出的最长的一条神经纤维，是信息的输出通道 突触：一个神经元的轴突末梢和另一个神经元的树突或细胞体之间的相互连接处，是输入输出接口 神经元电脉冲：0.5~1ms/次 神经元的工作机制——非常简单！ 1）各个神经元接受其他神经元的信号 2）当他们的总和超过某值时，即兴奋，产生脉冲，传给下一个神经元，就这么简单 但脑中有140亿个神经细胞 一个神经元，平均与1000~200000个其它神经元有联系 人类高度的信息处理机能的秘密就隐藏在这么多神经元及神经元间的连接上 工程上神经网络中所用的神经元的模型 神经元的模型 来自其它神经元的加权和，超过0输出1，否则什么也不输出（阶跃函数的场合） 关键： 1）神经元间怎样连接—NN的构成、自组织化 2）神经元间结合的强度怎样决定—NN的学习问题 神经网络信息处理的基本特点 分布存储与容错性:10~40万个死亡/天 并行处理性:1ms/次 信息处理与存储的合二而一性 可塑性与自组织性:学习、熟能生巧 层次性与系统性:大脑对信息的处理过程是分层次进行的 3、神经网络研究历史 1943年，心理学家McCulloch，数学家Pitts：M-P模型，最初的神经元模型，与目前的神经元模型基本一样 1949年，心理学家Hebb：Hebb学习规则，目前NN学习规则的基本 1958年，Rosenblatt：感知机模型：perceptron—最初的NN模型，具有学习能力的机械，研究热潮 1969年，M.Minsky，Papert：共著《Perceptron》书，指出perceptron的局限 72年，Kohonen，线性神经网络模型 甘利，理论解析 中野，联想记忆模型 75年，福岛，自组织识别神经网络模型 80年， Kohonen，自组织映射理论 82年，Hopfield network，NN中引入物理的能量函数的概念，可解组合优化问题 83年，Boltzmann Machine，引入模拟退火概念，更好地解决组合优化问题 86年，Rumelhart，BP算法，多层构造NN的较简单的学习方法 技术背景 计算机的发展，用NN仿真快、方便 随着计算机技术的进步，程序内藏式的局限显现了出来 这样，人们注目的焦点，由一个处理装置的串行的信息处理方式，变成 由多个处理装置的并行的信息处理方式 通过多个