神经网络轻量化综述.pdfVIP

计算机科学与探索1673-9418/2025/19(04)-0835-19

JournalofFrontiersofComputerScienceandTechnologydoi:10.3778/j.issn.1673-9418.2403071

神经网络轻量化综述

+

段宇晨，方振宇，郑江滨

西北工业大学软件学院，西安710129

+通信作者E-mail:zhenyu.fang@

摘要：随着深度学习技术的不断进步，人工神经网络模型在图像识别、自然语言处理、自动驾驶等多个领域都展现

出了前所未有的性能。这些模型通常具有数百万甚至数十亿个参数，通过大量的训练数据学习到复杂的特征表

示。然而，在资源受限的环境下，如移动设备、嵌入式系统等边缘计算场景，模型的功耗、内存占用和计算效率等因

素限制了大型神经网络模型的应用。为了解决该问题，研究人员提出了多种模型压缩技术，例如剪枝、蒸馏、神经网

络搜索（NAS）、量化、低秩分解等，旨在减少模型的参数量、计算复杂度和存储需求，同时尽可能保持模型的精准

度。系统介绍了这些模型压缩方法的发展过程，重点分析每种方法的主要原理和关键技术。主要包括剪枝技术的

不同策略，如结构化剪枝和非结构化剪枝；知识蒸馏中如何定义知识；NAS中的搜索空间，搜索算法和网络性能评

估；量化中的训练后量化和训练中量化；以及低秩分解中的奇异值分解和张量分解。对模型压缩技术的未来发展方

向做出讨论。

关键词：剪枝；量化；知识蒸馏；神经网络搜索（NAS）；低秩分解

文献标志码：A中图分类号：TP391

ReviewofNeuralNetworkLightweight

+

DUANYuchen,FANGZhenyu,ZHENGJiangbin

SchoolofSoftware,NorthwesternPolytechnicalUniversity,Xi’an710129,China

Abstract:Withthecontinuousprogressofdeeplearningtechnology,artificialneuralnetworkmodelshaveshownunprec-

edentedperformanceinmanyfieldssuchasimagerecognition,naturallanguageprocessing,andautonomousdriving.

Thesemodelsoftenhavemillionsorevenbillionsofparametersandlearncomplexfeaturerepresentationsthroughlarge

amountsoftrainingdata.However,inresource-constrainedenvironments,suchasmobiledevices,embeddedsystemsand

otheredgecomputingscenarios,thepowerconsumption,memoryusageandcomputingefficiencyofthemodellimitthe

applicationoflarge-scaleneuralnetworkmodels.Tosolvethisproblem,theresearchershaveproposedavarietyofmodel

compressiontechniques,suchaspruning,distillation,neuralnetworksearch(NAS),quantization,andlow-rankdecompo-

sition,whichaimtoreducethenumberofparameters,computationalcomplexity,andstoragerequirementsofthemodel,

while