机器学习算法与实践 课件 第12章 神经网络.pptx

第十二章神经网络人工神经网络（ArtificialNeuralNetworks，简称ANNs）也称为神经网络（NNs）或称为连接模型（ConnectionModel）。神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所做出的交互反应。1

12.1人工神经网络概述生物神经元生物神经系统由大量名为神经元的基本单元通过某种方式构成，其工作原理如下图所示：树突是神经元的分支，负责接收其他神经元的信号。轴突是神经元的传递通道，负责将信号传递给其他神经元。其工作原理维：轴突接收其他神经元的“信号”，当这些“信号”叠加达到一定“阈值”时，会导致神经元的电位发生变化，那么此神经元会“兴奋”起来，把新的“信号”通过轴突传递给其他神经元。2

12.1人工神经网络概述M-P神经元?3

12.1人工神经网络概述激活函数①阶跃函数???????????阶跃函数具有不连续，不光滑等性质，对后续模型的求解不利。4

12.1人工神经网络概述②Sigmoid函数????????5

12.1人工神经网络概述Sigmoid函数变型????????6

12.1人工神经网络概述人工神经网络人工神经网络由相互连接的M-P神经元（也称为节点或者处理单元）构成。生物神经元的连接和连接的强弱，在人工神经网络中以节点间的连线以及连接权重来表示。根据网络的层数可分为两层神经网络、三层及以上的神经网络或多层神经网络。7

12.1人工神经网络概述8如右图所示。图中椭圆表示节点，有向线段表示节点之间的连接。人工神经网络一般分为输入层、隐藏层、输出层，隐藏层可以有也可以没有，也可以有多层。如右图，只有输入层和输出层，没有隐藏层，即为最简单的神经网络结构，感知机（Perception）模型。感知机能力有限，需要通过很多神经元协作完成复杂的功能。通过一定的链接方式或信息传递方式进行协作的多个神经元可以看作一个神经网络，称为人工神经网络，也简称为神经网络。到目前为止，研究者已经发明了各种各样的神经网络结构。本章主要介绍“多层前馈神经网络”（Multi-LayerFeedforwardNeuralNetworks），也可称为多层感知机（MultipleLayersPerception，简记为MLP）。

12.1人工神经网络概述9如左图所示，其中输入层负责接收外界信号输入，隐藏层和输出层负责对信号进行处理，最后由输出层输出，其中隐藏层可以是单层也可以是多层，分别称为“单隐层前馈网络”和“多隐层前馈网络”。多层前馈神经网络能够解决复杂的分类和回归问题。

12.2感知机感知机是一种最基本的前馈式神经网络模型，仅由输入层和输出层构成。?感知机模型原理???10

12.2感知机?感知机模型的几何解释感知机模型的适用性（1）对于线性可分问题感知机为线性模型，可以解决线性可分问题，例如逻辑与、或、非运算?????????????????????11

12.2感知机它们都可以通过只有两个输入节点的简单感知机模型实现：?12

12.2感知机（2）对于非线性可分问题感知机原理简单容易理解，但能力有限，不能解决非线性问题。比如逻辑异或。?????????此问题非线性可分，不存在直线可以将正负类分开，需要多层神经网络解决。?13

12.2感知机感知机的学习策略????14

12.2感知机1）我们可以通过随机梯度下降法极小化目标函数?????15

12.2感知机2）我们可以通过对偶法极小化目标函数?????16

12.2感知机感知机随机梯度下降法步骤??17

12.2感知机感知机对偶算法步骤?18

12.3多层前馈神经网络基本结构?19

12.3多层前馈神经网络20??????

12.3多层前馈神经网络多层前馈神经网络的表示能力非常强大，例如可以轻松解决逻辑“异或”问题21??

12.3多层前馈神经网络误差传播算法前馈神经网络表示能力非常强，但随着隐藏层的层数以及神经元的个数的增加，需要确定的参数也会增加。训练如此多的参数需要强大的学习算法，误差传播（ErrorBackPropagation，简称BP）算法是目前最成功的神经网络学习算法。（1）标准BP算法??22

12.3多层前馈神经网络???????23结合Sigmoid函数的性质得??

12.3多层前馈神经网络??24?并且各参数的更新公式如下：?

12.3多层前馈神经网络（2）累积BP算法?累积BP算法在读取整个训练集后才对参数进行更新，其参数相对标准BP算法来说更新的频率低得多。但是，