第6章 神经网络.pptxVIP

机器学习算法与物联网应用杨云，段宗涛

第6章神经网络神经网络(NeuralNetwork,NN)模仿生物脑神经的工作原理，由大量简单的处理单元广泛互连形成复杂的网络系统。现代神经网络定位为一种仿生的非线性数学函数映射，是高维度、自适应和自组织的非线性系统，有很强的联想能力和容错能力，作为最重要的机器学习方法，支持回归预测和分类，已经被广泛应用于图像、视频、语音和文本处理，网络互联、通信和自动控制等领域。

目录6.1神经网络模型6.2反向传播(Backpropagation,BP)算法6.3神经网络实例分析

6.1神经网络模型构成神经网络的处理单元，又称为神经元(Neuron)，一般由以下四个部分组成：?输入：向量?权重(Weight)：每两个神经元之间的连接加权值?激活函数(Activationfunction)：容易求导的非线性函数?输出：标量一个典型的神经元模型如下图所示：图6-1神经网络模型

6.1神经网络模型图6-1中神经元模型包含3个输入，1个输出，2个计算功能。图中输入到计算的箭头称为连接，每个连接上都有一个权重，训练神经网络的过程就是调整权重值的过程，权重最优的时候网络的预测效果最好。第一个计算功能是线性求和，假设输入表示为，权重为，偏置为，则求和为：。第二个计算功能为激活函数，神经网络常用的非线性函数包括传统的Sigmoid，Tanh，最新的ReLUReLU(RectifiedLinearUnit)以及改进后的LeakyReLU函数，Softmax函数，计算效率更高，最新的几种激活函数会在深度学习章节中详细描述。图6-1神经网络模型

6.1神经网络模型把大量相同结构的神经元组合在一起，形成神经网络逼近某种算法或者函数，一般神经网络模型由以下三个部分构成：输入层(Inputlayer)：输入向量中间层(Hiddenlayer)：隐含层神经元输出层(Outputlayer)：输出向量，用于回归预测以及分类

6.1神经网络模型假设一个简单的神经网络有三个输入组成输入层，两个神经元组成中间隐含层，两个输出组成输出层，网络结构如下图所示：上图中的输出量可以采用以下公式求得：上式中如果定义，则上式可以转换为：图6-2单层神经网络模型

6.1神经网络模型神经网络的矩阵表达式可以表示如下：上面仅有一层中间层的神经网络称为单层神经网络，或者感知机(Perceptron)，在1958年由计算机科学家Rosenblatt提出，类似此前章节讨论过的逻辑回归模型，可以做简单的分类任务，但是无法解决复杂的非线性问题。为了让神经网络解决非线性问题，中间层可以包含多个隐藏层，也称为多层感知机(Multilayerperceptron,MLP)。理论上包含两个隐藏层的神经网络可以无限逼近任意连续函数，所以可以解决复杂的非线性问题。

6.1神经网络模型扩充以上单层神经网络为多两层神经网络模型如下图6-3所示，假设第一个隐含层的输出为，则包含两个隐含层的神经网络的矩阵表示如下,式中两个隐含层的激活函数也可以选择不同的非线性函数。图6-3两层神经网络模型

6.1神经网络模型下面可以通过一个具体的简单分类任务，来看看两层神经网络的表现。假设有三输入的异或逻辑门，输入作为神经网络训练样本，输入作为分类标签，具体实现代码如下所示：网络结构如右图6-4所示：图6-4异或分类的神经网络结构

6.1神经网络模型从以上简单的两层神经网络模型的分类结果可以看到，对于非线性的异或问题，两层神经网络可以正确分类大部分样本，但是网络结果输出并不稳定。改进神经网络的性能可以修改结构，例如改变隐含层的节点数，改进隐含层的层数，比如目前主流的深度神经网络就是通过数十甚至数百个隐含层来提高网络的性能，当神经网络的模型设计好后，还需要调整权重参数让网络结果表现优秀，也就是神经网络的训练过程。网络一次训练的结果输入对比：

6.2反向传播(Backpropagation,BP)算法神经网络模型的代价函数取决于输出层，对不同的应用场景可以采用不同的代价函数。如果希望输出层结果尽量接近输入层，可以采用均方误差(MSE)作为代价函数，如果