面向深度学习编译器的多粒度量化框架支持与优化.pdfVIP

研究论文第51卷第5期/2025年5月/计算机工程

面向深度学习编译器的多粒度量化框架支持与优化

魏铭康1，李嘉楠1，韩林1²,高伟2*，赵荣彩²,王洪生²

（1.郑州大学计算机与人工智能学院，河南郑州450000；2.国家超级计算郑州中心（郑州大学），河南郑州450000）

摘要：随着各大厂商对大模型应用部署需求的激增，深度学习编译器TVM(TensorVirtualMachine)的单一量

化方式精度下降，已无法满足部署需求。设计并构建一种可选粒度的模型量化框架，具体包括逐层与逐通道量化

流程的支持，以及阈值搜索与自适应舍人优化算法的实现。首先，基于量化模块“relay.quantize构建信息标注、

阈值校准与量化图实现的框架流程，并添加粒度属性以显式识别量化方式。其次，针对预定义校准方法无法确定

有效量化信息的问题，对量化中的阈值校准、权重舍人进行调优，提高量化后模型精度。实验采用ImageNet数据

集对视觉网络进行测试，针对MobileNetV1新量化方案将8bit量化后模型精度损失降低到2.3%，调优后该损失

降低到0.7%，实验结果表明多粒度量化框架可有效降低量化误差。

关键词：模型量化；模型部署；模型压缩；推理加速；深度学习编译器

中图分类号：TP332文献标志码：AD0I:10.19678/j.issn.1000-3428.0069206

SupportandOptimizationofMulti-GranularityQuantizationFramework

forDeepLearningCompiler

WEIMingkang,LIJianan,HANLin*2,GAOWei?*,ZHAORongcai?,WANGHongsheng

(1.SchoolofComputerandArtificialIntelligence,ZhengzhouUniversity,Zhengzhou450000,Henan,China;

2.NationalSupercomputingCenterinZhengzhou(ZhengzhouUniversity),Zhengzhou450000,Henan,China)

[Abstract)Withtheincreasingdemandforthedeploymentoflargemodelsbymajormanufacturers,theaccuracy

ofthesinglequantizationmethodofdeeplearningcompilerTensorVirtualMachine(TVM)hasdecreased,and

thismethodisnolongersufficienttosatisfydeploymentrequirements.Therefore,inthisstudy,aflexible

granularitymodelquantizationframeworkisdesignedandconstructed.Thisframeworksupportslayer-wiseand

channel-wisequantizationprocessesaswellastheimplementationofthresholdsearchandadaptiverounding

optimizationalgorithms.First,basedonthequantizationmodulerelay.quantize,aframeworkflowfor

informationannotation,thresholdcalibration,andquantizationgraphrealizationisconstructed,whichincludes

granularityattributestoexplicitlyi