面向图像分类的高效激活函数及网络架构研究.pdfVIP

摘 要 随着深度学习领域的快速发展，图像分类技术的应用领域也越来越广泛，图 像分类是指给定一幅输入图像，通过算法判别图像所属类别的技术。目前大多的 图像分类算法在简单分类任务中表现出色，却对存在干扰或差异细微的图像无法 获得理想的分类效果，因此设计一个精度高、训练快的高效神经网络是非常必要 的。 目前图像分类领域的研究主要存在两个问题，一是部分网络为了获得更高的 分类精度不断加深网络深度，进而导致模型训练慢、计算量大且对硬件设备要求 高，二是一些网络为了提高模型效率，通过压缩、剪枝等手段减少模型参数量和 计算量，这样做固然提升了模型效率，却忽略了模型的分类精度。本文基于深度 学习对图像分类进行研究，具体内容如下。 首先针对卷积神经网络的表达能力及拟合效果受激活函数影响较大的问题， 设计了一种高效激活函数EReLU并将其应用到卷积神经网络中执行分类任务。 EReLU函数是通过向ReLU函数的负半轴引入一段简单的自然对数函数进行的改 进，实验证明EReUJ函数能有效提升卷积神经网络的分类效果。其次，针对现有 的基于卷积神经网络的图像分类算法无法同时满足高效率高精度的问题，提出一 种多重注意力幽灵残差融合(MAGR)网络的图像分类算法。首先使用幽灵卷积 替换常规卷积搭建网络，其次采用拓宽网络宽度的思想设计了一种多支路幽灵组 卷积残差网络结构，提升网络的表达能力，然后分别在网络的关键位置引入合适 的注意力机制，提升网络的关键特征提取能力，进而实现提升模型整体性能的目 数应用到MAGR模型中以进一步提升模型性能和验证两者的适用性。实验表明， 本文所提出的方法在效率和精度方面表现更加出色。 图[29】表[10]参[74】 关键词：图像分类；激活函数；幽灵残差融合：注意力机制；卷积神经网络 分类号：TP391 目录 摘 要………………………………………………………………………………I Abstract………………………………………………………………………………………………………II Contents…………………………………………………………………………………………………．VIII 1 绪论……………………………………………………………………………………………………1 l+l研究背景及意义…………………………………………………………．1 1．2国内外研究现状…………………………………………………………．2 1．2．1激活函数研究现状………………………………………………．3 1．2．2卷积神经网络研究现状…………………………………………．4 1．3 图像分类技术面临的问题………………………………………………6 1．4论文结构安排……………………………………………………………7 2图像分类技术相关理论………………………………………………………．9 2．1神经网络概述……………………………………………………………9 2．1．1基本原理…………………………………………………………一9 2．1．2几种常见的神经网络……………………………………………lO 2．2卷积神经网络基本结构………………………………………………．11 2．2．1 卷积层……………………………………………………………11 2．2．2激活函数…………………………………………………………13 2．2．3注意力机制………………………………………………………13 2．3本章小结………………………………………………………………．14 3 EReLU高效激活函数设计…………………………………………………．．15 3．1激活函数发展历程……………………………………………………．15 3．1．1早期激活函数……………………………………………………15 3．1．2 ReLU及其改进型函数…………………………………………15 3．2激活函数训练过程分析………………………………………………．17 3．2．1前向传播过程……………………………………………………17 3．2．2反向传播过程……………………………………………………18 3．3 高效激活函数设计……………………………………………………．19