基于轻量级神经网络的稀疏循环架构模型研究.pdfVIP

摘要

近年来，随着科学技术的快速发展，人工智能技术已经成为了推动社会进步和

转型的重要力量。人工智能的应用不仅在提高生产效率、降低成本和改善生活质量

方面发挥了积极作用，还在一些传统方法无法解决的复杂问题中展现了巨大潜力。

神经网络是人工智能领域中最重要的技术之一，其通过模仿人类大脑神经元结构来

实现特定的任务和功能，在自然语言处理、图像模式分类识别等领域取得了令人瞩

目的成就。然而，现有神经网络模型具有参数数量多、占用存储空间大、网络架构

复杂等特点，对计算机硬件提出了极高的要求，特别是在硬件条件受限或移动设备

场景中部署大规模神经网络模型十分困难。因此，如何设计网络规模较小同时具有

更好性能的轻量级神经网络成为了当前研究的热点方向。

轻量级神经网络具有参数量较少，运行速度快，模型架构简单等特点，常被应

用于低水平算力平台的神经网络部署，但是由于其准确度较低，无法胜任较为困难

的实际任务。为了提高轻量级神经网络的准确度并尽量减少模型中的参数数量，本

文首先将生物学理论运用到神经网络中，提出了基于轻量级神经网络的稀疏循环架

构模型，然后从信息论角度出发解释说明了其优越性，最后分别应用在不同的网络

模型和实际任务中进行验证。具体工作内容如下：

生物大脑的视觉神经网络中存在大量稀疏循环的网络结构。受此启发，本文首

先采用剪枝的方法稀疏化神经网络，随后进行循环操作并融合网络架构，提出了基

于轻量级神经网络的稀疏循环架构模型。其次分别从费希尔信息谱、有效维度理论

和训练性能解释了该模型的性能优势。最后将稀疏循环架构模型分别应用到人工神

经网络、卷积神经网络和Transformer中的计算机视觉分类任务和自然语言处理任务

MINSTCIFAR10PASCALVOC2012

中进行验证。与传统稀疏架构模型相比，在、、

SQuAD0.47%0.64%

和等数据集上经过两次稀疏循环后的准确率分别提高了、、

3.75%15.06%

和，证明了稀疏循环架构模型的有效性和广泛适用性。

关键词：轻量级网络；循环神经网络；稀疏神经网络；剪枝

Abstract

Inrecentyears,withtherapiddevelopmentofscienceandtechnology,artificial

intelligencetechnologyhasbecomeanimportantforcetopromotesocialprogressand

transformation.Theapplicationofartificialintelligencenotonlyplaysapositiverolein

improvingproductionefficiency,reducingcostsandimprovingqualityoflife,butalso

showsgreatpotentialinsolvingsomecomplexproblemsthatcannotbesolvedby

traditionalmethods.Neuralnetworkisoneofthemostimportanttechnologiesinthefield

ofartificialintelligence,whichrealizesspecifictasksandfunctionsbyimitatingthe

structureofhumanbrainneurons,andhasmaderemarkableachievementsinthefieldsof

naturallanguageprocessing,imagepatternclassificationandrecognition.However,the