人工智能PPT课件（共9章）8-3 神经网络.pptxVIP

1 人工神经网络及其应用 神经网络（neural networks，NN） 生物神经网络( natural neural network, NNN): 由中枢神经系统（脑和脊髓）及周围神经系统（感觉神经、运动神经等）所构成的错综复杂的神经网络，其中最重要的是脑神经系统。 人工神经网络(artificial neural networks, ANN): 模拟人脑神经系统的结构和功能，运用大量简单处理单元经广泛连接而组成的人工网络系统。 神经网络方法： 隐式的知识表示方法 2 人工神经网络及其应用 1 神经元与神经网络 2 BP神经网络及其学习算法 3 BP神经网络的应用 4 卷积神经网络与深度学习 3 1 神经元与神经网络 1.1 生物神经元的结构 1.2 神经元数学模型 1.3 神经网络结构与工作方式 4 1.1 生物神经元的结构 人脑由一千多亿（1011亿－ 1014 亿）个神经细胞（神经元）交织在一起的网状结构组成，其中大脑皮层约140亿个神经元，小脑皮层约1000亿个神经元。 神经元约有1000种类型，每个神经元大约与103－ 104个其他神经元相连接，形成极为错综复杂而又灵活多变的神经网络。 人的智能行为就是由如此高度复杂的组织产生的。浩瀚的宇宙中，也许只有包含数千忆颗星球的银河系的复杂性能够与大脑相比。 5 1.1 生物神经元的结构 （输入） （输出） 神经冲动 生物神经元结构 6 1.1 生物神经元的结构 工作状态： 兴奋状态：细胞膜电位 动作电位的阈值 → 神经冲动 抑制状态：细胞膜电位 动作电位的阈值 学习与遗忘：由于神经元结构的可塑性，突触的传递作用可增强和减弱 。 7 1.2 神经元数学模型 1943年，麦克洛奇和皮兹提出M－P模型。一般模型： 8 1.2 神经元数学模型 ：第 个神经元的输出。 ：第 个神经元的阈值。 ：外部输入。 ：权值。 9 线性环节的传递函数： ：1； ； ； 及其组合等。 1.2 神经元数学模型 10 1.2 神经元数学模型 非线性激励函数（传输函数、输出变换函数） （硬极限函数或阶跃函数） （对称硬极限函数） 11 1.2 神经元数学模型 非线性激励函数（传输函数、输出变换函数） （对数- S 形函数或S型函数） （双曲正切S形函数） 12 1.2 神经元数学模型 非线性激励函数（传输函数、输出变换函数） （饱和线性函数） （对称饱和线性函数） 13 1.2 神经元数学模型 非线性激励函数（传输函数、输出变换函数） （线性函数） （高斯或径向基函数） 14 1.2 神经元数学模型 15 1.2 神经元数学模型 16 1.3 神经网络的结构与工作方式 决定人工神经网络性能的三大要素： 神经元的特性。 神经元之间相互连接的形式——拓扑结构。 为适应环境而改善性能的学习规则。 17 1. 神经网络的结构 （1）前馈型（ 前向型） 1.3 神经网络的结构与工作方式 18 1. 神经网络的结构 （2）反馈型 （ Hopfield神经网络） 1.3 神经网络的结构与工作方式 19 2. 神经网络的工作方式 同步（并行）方式：任一时刻神经网络中所有神经元同时调整状态。 异步（串行）方式：任一时刻只有一个神经元调整状态，而其它神经元的状态保持不变。 1.3 神经网络的结构与工作方式 20 探索时期（开始于20世纪40年代）： 1943年，麦克劳（W. S. McCullocn）和匹茨（W. A. Pitts）首次提出一个神经网络模型——M－P模型。 1949年，赫布（D. O. Hebb）提出改变神经元连接强度的 Hebb学习规则。 1.4 神经网络的发展概况 21 1958年，罗森布拉特（F. Rosenblatt）提出感知器模型（perceptron）。 1959年，威德罗(B. Widrow)等提出自适应线性元件（adaline）网络，通过训练后可用于抵消通信中的回波和噪声。 1960年， 他和 M. Hoff 提出LMS （Least Mean Square 最小方差）算法的学习规则。 1.4 神经网络的发展概况 第一次热潮时期：20世纪50年代末－ 20世纪60年代初 22 1969年，明斯基（M. Minsky）等在《Perceptron》中对感知器功能得