面向测试用例生成的大模型高效微调方法.pdfVIP

JournalofComputerApplicationsISSN1001⁃90812025⁃03⁃10

计算机应用,2025,45(3):725-731CODENJYIIDUhttp://www.joca.cn

文章编号：1001-9081（2025）03-0725-07DOI:10.11772/j.issn.1001-9081.2024111598

面向测试用例生成的大模型高效微调方法

1*11223

曹鹏，温广琪，杨金柱，陈刚，刘歆一，季学纯

（1.东北大学计算机科学与工程学院，沈阳110169；

2.国网信息通信产业集团有限公司，北京102200；3.国网电力科学研究院有限公司，南京211106）

（∗通信作者电子邮箱caopeng@cse.neu.edu.cn）

摘要：基于数据驱动的单元测试代码自动化生成技术存在覆盖率低和可读性差的问题，难以应对日益增长的测

试需求。大语言模型（LLM）在代码生成任务中显示了极大的潜力，然而由于代码数据的功能风格和编码风格的差

异，LLM面临灾难性遗忘和资源受限这2个挑战。为了解决这些问题，提出将编码风格和功能风格同步迁移微调的思

想，并开发一种高效的LLM微调训练方法用于单元测试用例生成。首先，利用广泛使用的指令数据集对LLM进行指

令对齐，并按任务类型对指令集分类；同时，提取并存储具有任务特征的权重增量；其次，设计一个自适应风格提取模

块，该模块包含抗噪声干扰学习和编码风格回溯学习，以应对不同的代码编写风格；最后，在目标域分别对功能风格

增量和编码风格增量进行联合训练，以实现在目标域低资源情况下的高效适配和微调。在SF110CorpusofClasses数

据集上的测试用例生成实验结果表明，所提方法的结果均优于对比方法，与主流代码生成LLMCodex、CodeLlama和

DeepSeek-Coder相比，所提方法的编译率分别提高0.8%、43.5%和33.8%、分支覆盖率分别提高3.1%、1.0%和

17.2%；行覆盖率分别提高4.1%、6.5%和15.5%，验证了所提方法在代码生成任务上的优越性。

关键词：单元测试；代码生成；大语言模型；权重增量学习；微调学习

中图分类号：TP391.1文献标志码：A

Efficientfine-tuningmethodoflargelanguagemodelsfortestcasegeneration

1*11223

CAOPeng，WENGuangqi，YANGJinzhu，CHENGang，LIUXinyi，JIXuechun

（1.SchoolofComputerScienceandEngineering，NortheasternUniversity，ShenyangLiaoning