面向私有问答系统的检索增强式大模型稳定输出方法.pdfVIP

计算机科学与探索1673-9418/2025/19(01)-0132-09

JournalofFrontiersofComputerScienceandTechnologydoi:10.3778/j.issn.1673-9418.2406060

面向私有问答系统的检索增强式大模型稳定输出方法

李铂鑫1,2+

1.小米人工智能实验室，北京100085

2.中国科学院软件研究所中文信息处理实验室，北京100190

+通信作者E-mail:liboxin1@

摘要：基于大模型的问答系统受大模型语义不一致性问题的影响，会出现“输出结果不稳定”的现象，从而制约

着问答系统的安全性、鲁棒性和可信度，严重影响了用户体验。针对上述问题，提出一种面向私有问答系统的检

索增强式大模型稳定输出方法。该方法通过优化提示词，让大模型首先输出num_k个用户查询的同义查询，然后

输出答案；目的是在大模型输出答案时，可以参考已经输出的num_k个同义查询，从而使大模型的输出结果更加

稳定。针对开源大模型因指令理解能力弱而出现的“同义查询生成数目不稳定、输出格式无法解析”等问题，提

出通过数据蒸馏的方式，利用闭源大模型自动构建了一个开放域上的检索增强式指令数据集，在该指令集上对开

源大模型进行微调。构建了一个私有问答场景下的评估集以验证该方法的有效性。在上述评估集上的实验结果

表明，该方法在一致性指标和效果指标上，均显著优于基线方法。与基线方法相比，该方法的一致性指标

ROUGE-1、ROUGE-2、ROUGE-L和BLEU分别提升了18.9、30.1、24.5和30.6个百分点，效果指标正确率提升了

17.4个百分点。

关键词：大模型；检索增强生成；大模型稳定性；问答系统

文献标志码：A中图分类号：TP391

MethodofRetrieval-AugmentedLargeLanguageModelswithStableOutputsfor

PrivateQuestion-AnsweringSystems

LIBoxin1,2+

1.XiaomiAILab,Beijing100085,China

2.ChineseInformationProcessingLaboratory,InstituteofSoftware,ChineseAcademyofSciences,Beijing100190,

China

Abstract:Thequestion-answeringsystemsbasedonlargelanguagemodels(LLMs)areaffectedbytheissuesofsemantic

inconsistencyfromLLMs,resultinginan“unstableoutputs”phenomenon,whichimpairsthesafety,robustnessandcredi-

bilityofaquestion-answeringsystemandseverelydegradestheuserexperience.Toaddresstheaboveissue,thispaper

proposesamethodofretrieval-augmentedLLMs’stabilityoutputforprivatequestion-answeringsystems.Thisapproach

optimizestheuseofpromptwords,allowingtheLLMstofirstoutputnum_ksynonymousqueriesoftheuser’squery,and

thenoutputthefinalanswer.Thisdesignaimstorefertothefirstgeneratednum_ksynonymousqueriesduringthegenera-

tionofthefinalanswer,therebymakingtheoutputoftheLLMsmorestable.T