模式识别 课件4-第四章 基于神经网络的模式分类.pptx

第四章基于神经网络的模式分类

本章概述本章讲授基于几类代表型神经网络的模式分类，包括：基于多层前馈神经网络的模式分类、基于卷积神经网络的模式分类、基于循环神经网络的模式分类、基于Transformer的模式分类、以及基于YOLO网络的模式分类，过程中给出了各类网络的基本工作原理、网络结构、应用案例等，旨在帮助学生理解和掌握不同神经网络特点、掌握神经网络核心环节设计及功能，理解不同神经网络的模式分类原理与程序实现，最终具有面向具体分类任务的神经网络选取、实现与改进能力。

本章主要内容4.1基于多层前馈神经网络的模式分类4.2基于卷积神经网络的模式分类4.3基于循环神经网络的模式分类4.4基于Transformer的模式分类4.5基于YOLOvX的视觉模式识别

4-1基于多层前馈神经网络的模式分类4.1.1神经元模型人工神经元模拟生物神经元的结构和功能，是构成人工神经网络的基本单元。1943年，经生理学家沃伦·S·麦卡洛克（WarrenS.McCulloch）和数学家沃尔特·皮茨（WalterPitts）构建了M-P神经元模型，被认为是第一个人工神经元模型，一直沿用至今。

4-1基于多层前馈神经网络的模式分类4.1.1神经元模型M-P神经元模型如图所示，输入为到，作用于神经元的连接权重分别为到，神经元对这些输入按照对应权重进行求和并与偏置（也称为阈值）进行比较，然后通过激活函数（ActivationFunction）产生神经元的输出，如下所示。

4-1基于多层前馈神经网络的模式分类4.1.1神经元模型激活函数的作用是在神经网络中引入非线性因素，使其能够逼进任何非线性函数。常见的激活函数有：Sigmoid函数：如图所示，将范围内的任意输入转化为[0,1]之间的输出，适用于二分类问题，在深度神经网络中可能出现梯度消失问题，其表达式如公式所示

4-1基于多层前馈神经网络的模式分类4.1.1神经元模型ReLU（RectifiedLinearUnit）线性整流函数：如图所示，当输入小于0时输出为0，当输入大于0时输出等于输入，表达式如图4-3所示。激活函数计算简单，收敛速度快，能有效缓解梯度消失问题，但训练过程可能导致神经元“死亡”（即权重无法更新）。

4-1基于多层前馈神经网络的模式分类4.1.1神经元模型Tanh双曲正切函数：如图所示，将输出限制在[-1,1]之间，适合于需要归一化输出的任务，表达式如下所示。具有类似Sigmoid的性质，但在0附近梯度更大，也可在一定程度上缓解梯度消失问题。

4-1基于多层前馈神经网络的模式分类4.1.1神经元模型Softmax归一化指数函数：用于多分类问题，将输出转换为概率分布，其工作原理如图所示，计算过程如公式所示，其中为未经过激活函数前分类器第个类别的输出，为输出节点的个数，即分类的类别个数，为神经元最终输出，满足：且。

4-1基于多层前馈神经网络的模式分类4.1.2多层前馈神经网络M-P模型中，权值是预先设置的，不具有学习能力。1949年，加拿大心理学家唐纳德.赫布（DonaldOldingHebb）提出Hebb学习规则，表明神经网络的学习过程最终发生在神经元之间的突触部位，突触的联结强度随着突触前后神经元的活动而变化，并且变化量与两个神经元活性之和成正比。

4-1基于多层前馈神经网络的模式分类4.1.2多层前馈神经网络1958年，计算科学家FrankRosenblatt提出了一个仅由输入层（InputLayer）和输出层（OutputLayer）两层神经元构成的神经网络，命名为感知机（Perceptron）感知机是一个二分类模型，若输出为+1则表示正类，输出-1表示反类，由此可见，当输入神经元为时，感知机将一个维向量用一个超平面分割成两部分，对于任一维输入向量，其一定输出正类或者反类之一

4-1基于多层前馈神经网络的模式分类4.1.2多层前馈神经网络在输入层和输出层之间增加隐含层（HiddenLayer），就构成了多层前馈神经网络（MultilayerFeedforwardNeuralNetwork），如图所示，各层之间的神经元全连接，信息由输入层神经元开始，经过隐含层神经元向前传送，最后由输出层神经元产生输出。隐含层也简称为隐层，可以仅有一层，也可以有多层，每层的神经元数目也可不同。一般情况下，神经元数越大，神经网络的非线性特性越显著，进而神经网络的鲁棒性（Robustn