神经网络与深度学习.ppt

人工神经网络 人工神经网络 第2章 人工神经网络 人工神经网络原理 神经元生物学原理 ? 单输出 多个输入 (树突) soma axon 人工神经网络 神经元生物学原理 人工神经网络原理 神经元基本模型 人工神经网络 人工神经网络原理 刺激 urest = 静息值 xj(t) =在时刻 t 的神经元 j 的输出 wij = 神经元 i和神经元 j之间的连接强度 u(t) = 在时刻 t的总的刺激 yi(t) x1(t) x2(t) x5(t) x3(t) x4(t) wi1 wi3 wi2 wi4 wi5 神经元 i 响应 人工神经网络 人工神经网络原理 神经元数学模型 人工神经网络 人工神经网络（传统神经网络计算） 人工神经网络原理 第2章 人工神经网络 经典模型 多层网络BP算法 Hopfield网络模型 自适应共振理论（ART） 自组织特征映射理论 Hinton 等人最近提出了 Helmboltz 机 徐雷提出的 Ying-Yang 机理论模型 甘利俊一( S.Amari) 开创和发展的基于统计流形的方法应用于人工神经网络的研究 三百余种模型 人工神经网络原理 人工神经网络 Hopfield网络模型 人工神经网络原理 人工神经网络 人工神经网络实现的过程 人工神经网络原理 人工神经网络 神经网络模型 算法 现代计算机 旅行商 优化 求解问题 控制 使计算机看起来（貌似）具有智能 人脸识别 Any questions? 人工神经网络 人工神经网络原理 人工智能的困惑 ? 1956年John McCarthy在他的Proposal for the Dartmouth Summer Research Project On Artificial Intelligence中首先将人工智能定义为: “使一部机器的反应方式就像是一个人在行动时所依据的智能”。 到目前为止，该领域中在计算机模拟智能的方面, 人们已经作了大量的工作，但遗憾的是，我们至今也没有看到一个真正具有人类智能的机器出现。为什么？ 人工神经网络的“进化” 人工神经网络 人工神经网络研究的局限性 （1）ANN研究受到脑科学研究成果的限制。 （2）ANN缺少一个完整、成熟的理论体系。 （3）ANN研究带有浓厚的策略和经验色彩。 （4）ANN与传统技术的接口不成熟。 人工神经网络 人工神经网络的“进化” 脑可塑性给连结主义者的启示 人脑是生成性系统，是从无到有自动生成的。显然，现代计算机硬件本身是构成性系统，它不具有可以重塑自己的结构和功能的能力，换言之，现代计算机硬件不具有可塑性。 如果说人脑软件的可塑性与硬件的可塑性相互依赖，相互作用，共同进步，那么连接主义试图通过计算机软件来模拟人脑硬件的结构，同时完成人脑软件的功能，具有明显的缺陷。 人工神经网络 人工神经网络的“进化” 算法不可以穷尽“心”的机理 大脑的功能也许可以说是一台计算机，但更深层次的智能活动，特别是以意向性为核心的心智活动决不是计算机算法（人工神经网络及计算）可以穷尽的。 人类的心灵、大脑和计算机之间存在着“本质差别”。 第2章 人工神经网络 人工神经网络 人工神经网络的“进化” 如果传统人工神经网络在解决人工智能的道路上出现了上述不可逾越的障碍，我们该怎么办？ 人工神经网络 人工神经网络的“进化” 神经网络计算（1950s- ） 进化神经网络（1990s- ） 神经网络硬件化（1990s- ) 脑机接口（1990s- ) （EEG，脑电解算，脑控技 术，脑芯片） 人工脑（2000s- )（仿生脑，电子） 读脑术（2000s- ）（机器学习，核磁共振） 控脑技术（2000s- ）（动物、昆虫大脑控制） 脑信息学（2007s- ) 人脑模型（2012s- ）（数学，计算机） 从计算模拟（不理解脑）到电子模拟（试图理解）、人机融合（不用理解，直接利用）、虚拟模型（彻底理解）、读脑术（机器直接理解思维）。 要真正实现人工智能，必须摒弃传统的计算思维，回归生物学本源，搞清楚大脑的工作机理和智能产生的原由。 人工神经网络 人工神经网络 人工神经网络的“进化” 关于大脑的理论 概 率 大 脑 美国罗切斯特大学计算于认知神经系统科学实验室主任亚历山大 普捷 “概率大脑”的原理认为，我们从外部世界看到、听到、触摸到和感觉到的一切事物都在“第一时间”被转换成了数学概率。 对大脑而言，世界是一个巨大的且随着我们的感知不停变化的概率集合。在大脑神经元构成的网络中心，概率计算在十分之几秒的时间间隔内下意识的运行着，正是这种计算“孕育”出了我们的思维，“概率计算”的目的在于让每