商务智能原理与方法（第三版） 课件 ch12 神经元网络.pptx

神经元网络普通高等教育“十一五”国家级规划教材商务智能原理与方法（第三版）第十二章

01神经元网络简介

神经元网络(NeuralNetwork),又称人工神经元网络(ArtificialNeuralNetwork),是深度学习(DeepLearning)的主要模型。神经元网络最初的灵感来自人脑中处理信号的神经元，生物学研究揭示了人脑由一个个带有突触的神经元连接组成，神经元受到一定的外部刺激而产生信号。商务智能简介

从机器学习的角度来看，神经元网络一般可以看作一个非线性模型，其基本组成单元为具有非线性激活函数的神经元，通过大量神经元之间的连接，使得神经元网络成为一种高度非线性的模型。神经元之间的连接权重就是需要学习的参数，可以在机器学习的框架下通过梯度下降方法来进行学习。商务智能简介

(1)第一阶段是20世纪40～60年代的控制论，期间提出了许多基本的神经元模型和学习规则。第一阶段(2)第二个阶段大致是1980—1995年，Werbos的反向传播算法的提出重燃了人们对于神经元网络的探索。第二阶段(3)第三个阶段大概是从2006年至今，研究者逐渐掌握了训练深层神经元网络的方法。第三阶段三个阶段商务智能简介

02前馈神经元网络

神经元(Neuron)是神经元网络的基本单位，与生物神经元的结构类似，接收输入信号进行处理后产生输出。一个复杂的神经元网络正是由多个这样的基础神经元组合而成。典型的神经元结构如图所示。前馈神经元网络神经元

2.Tanh函数4.LeakyReLU函数1.Sigmoid函数3.ReLU函数前馈神经元网络激活函数

前馈神经元网络(FeedforwardNeuralNetwork,FNN),又叫多层感知机(MultilayerPerceptron,MLP),是一类基础且重要的神经元网络形式。由一个输入层(第一层)、一个或多个隐藏层(中间层)和一个输出层(最后一层)构成，每层由多个神经元构成。前馈神经元网络前馈神经元网络

神经元网络中权重参数的学习是通过梯度下降算法，根据任务目标设定相对应的损失函数。在训练数据集上，梯度下降算法通过计算损失函数对权重参数的偏导数，确定学习率α并对权重参数进行不断迭代更新，直至损失函数值收敛达到最优为止。前馈神经元网络进而，可根据先验知识确定好网络结构，设定适当网络层数、节点个数、学习率、激活函数类型等超参数。对于这样的二分类问题，网络的输出层可选择Sigmoid函数作为激活函数，其良好的性质适用于解决此类分类问题。

03卷积神经元网络

卷积神经元网络(ConvolutionalNeuralNetwork,CNN)是一种专门处理具有类似网格结构数据的神经元网络，其核心是使用了卷积的这一特殊的线性运算方式，常用于处理图像数据(一般将图像转化为二维的像素矩阵)和时序数据等。卷积神经元网络卷积神经元网络最早用于图像处理领域，计算机处理图像数据时，一般将图像转换成由像素点表示的二维矩阵，对于灰度图像用一个二维矩阵表示，若是彩色图像，则表示为分别对应RGB三个颜色通道的三个二维矩阵。

卷积层卷积(Convolution)是数学分析中一种重要运算，在信号处理或图像处理中，常使用一维或二维卷积。一维卷积经常用在信号处理领域，用于计算信号的延迟累积。汇聚层汇聚层(PoolingLayer),早期也翻译为池化层，目前多被称为“汇聚”。汇聚层的作用是进行特征选择，从而降低特征数量和参数数量。卷积神经元网络

(2)平均汇聚(MeanPooling):取区域内所有神经元活性值的平均值作为区域代表值。(1)最大汇聚(MaxPooling):选择这个区域内所有神经元的最大活性值作为这个区域的表征。前馈神经元网络常用的汇聚函数有下述两种

典型的卷积神经元网络由卷积层、汇聚层、全连接层交叉堆叠而成。如图12-9所示，一个卷积块有连续M个卷积层和N个汇聚层，M通常设置为2～5,N通常为0或1。一个卷积网络中可以堆叠Q个连续的卷积块，然后在后面接着K个全连接层，Q的取值区间比较大，如1～100或者更大，K一般为0～2。前馈神经元网络卷积神经元网络结构

早在20世纪90年代，基于LeNet-5的手写数字识别系统就被美国多家银行用以识别支票上的手写数字。AlexNet280是第一个现代深度卷积神经元网络模型，首次使用了很多现代深度卷积神经元网络的技术方法，如使用GPU进行并行训练，采用ReLU作为非线性激活函数，使用Dropout防止过拟合等。在AlexNet后还出现了很多优秀的卷积神经元网络，如VGG网络287,Inception