UCAS模式识别7_神经网络01.pdf

中国科学院大学计算机与控制学院硕士课 《模式识别》 第6章第1讲 人工神经网络 Artificial Neural Networks 向 世 明 smxiang@nlpr.ia.ac.cn 助教：杨学行(xhyang@nlpr.ia.ac.cn); 吴一超(yichao.wu@nlpr.ia.ac.cn) 内容提要 • 介绍 – 发展历史 – 网络结构 • 基本模型 – 单层感知器、多层感知器、RBF 网络 • 扩展模型 – Hopfield 网络、RBM 、DNN 、CNN、Autoencoder 、 RNN 、LTSM等 第一节 人工神经网络发展历程 6.1.1 概述 • 人脑 人是地球上具有最高智慧的动物，而人的指 挥均来自大脑，人类靠大脑进行思考、联想、 记忆和推理判断等，这些功能是任何被称为 “电脑”的一般计算机所无法取代的。 “My brain: Its my second favorite organ.” 伍迪·艾伦 (Woody Allen) 6.1.1 概述 • 人脑 长期以来，科学家一直致力于人脑内部结构 和功能的探讨和研究，并试图建立模仿人类大 脑的计算机。 虽然到目前对大脑的内部工作机理还不甚完 全清楚，但对其结构已有所了解。 6.1.1 概述 大脑里有许许多多（约800亿） 神经细胞。每个神经细胞由两 • 人脑 个部分组成：细胞体和突起 6.1.1 概述 • 人脑 每个神经元可看作是一个小的处理单元，这些神经元按 某种方式连接起来，形成大脑内部的生理神经元网络。 神经元网络中各神经元之间联结的强弱，按外部的激励 信号做自适应变化，而每个神经元又随着所接收到的多个 接收信号的综合大小而呈现兴奋或抑制状态。 现已明确大脑的学习过程就是神经元之间连接强度随外 部激励信息做自适应变化的过程，而大脑处理信息的结果 则由神经元的状态表现出来。 6.1.2 什么是人工神经网络 • Biological Inspiration  神经元之间通过突轴两两相连。  突轴记录了神经元间联系的强弱。  只有达到一定的兴奋程度，神经元 才向外界传输信息。  每个神经元可抽象成一个激励函数 （非线性处理）。 让计算机更加鲁棒、更加智能、且具有学习功能! 6.1.2 什么是人工神经网络 • 按美国神经网络学者Nielsen的定义 – 人工神经网络是一个并行、分布处理结构，由 处理单元及其称为联接的无向通道互连而成。 – 这些处理单元具有局部内存，可以完成局部操 作，该操作由输入至该单元的信号值和存储在 该单元中的信号值来确定。 – 每个处理单元有一个单一的输出联接，输出信 号可以是任何需要的数学模型。 是一种模仿生物神经网络的结构和功能的数学模型或计算模型 6.1.3 人工神经网络发展历程