调查 LLMs 在软件工程中生成证据简报的应用-计算机科学-大语言模型-软件工程.pdfVIP

调查LLMs在软件工程中生成证据简报的

应用

MauroMarcelinoMarcosAlvesBiancaTrinkenreich

里约天主教大学菲泰克技术创新科罗拉多州立大学

RiodeJaneiro,BrazilBeloHorizonte,BrazilFortCollins,USA

moliveira@inf.puc-rio.brmarcosaalves@.brBianca.trinkenreich@

BrunoCartaxoSérgioSoaresSimoneD.J.BarbosaMarcosKalinowski

IFPEUFPE里约天主教大学里约天主教大学

Recife,BrazilRecife,BrazilRiodeJaneiro,BrazilRiodeJaneiro,Brazil

本email@scbs@cin.ufpe.brsimone@inf.puc-rio.brkalinowski@inf.puc-rio.br

译

中摘要—[背景]证据简报是一种简洁且客观的传输媒介，可SLR而言，Santos和Silva[20]报告称只有少数SE研究

1以向工业界的软件工程师呈现研究的主要发现。尽管从业者和研人员认为他们的SLR直接对工业实践产生了影响。在

v究人员认为证据简报是有用的，但其制作需要手动劳动，这可能接受采访的44位研究者中，仅有六人声称他们的工作

8

2是广泛采用的重大挑战。[目标]本注册报告的目标是描述一个在某种程度上影响了行业实践。类似地，Budgen等。[6]

8实验协议，用于评估LLM生成的证据简报在内容保真度、易理

5解性和实用性方面的效果，这些方面由研究者和从业者感知，并检查了49项研究并发现，尽管SLRs汇总了有价值的

1.与人工编写的简报进行比较。[方法]我们开发了一个基于RAG见解，但将其转化为可操作的知识仍然是一项挑战，表

7

0的LLM工具来生成证据简报。我们使用该工具自动生成了两个明有限的工业影响是一个持续的趋势。。其他作品则强

5先前研究工作中手动制作的证据简报。我们设计了一个控制实验调知识转化为可操作见解的有效机制不力是导致这一

2来评估LLM生成的简报在感知的内容保真度、易理解性和实用

:差距的关键因素[1],[12]。

v性方面与人工编写的简报相比如何。[结果]实验完成后将报告。

i[结论]取决于实验结果。这些发现强调了研究重点与实际行业需求之间的

x

r

aIndexTerms—证据简报，合成用LLMs，受控实验，基不一致，凸显了需要更好的机制将学术研究成果转化为

于证据的软件工程。实用应用的必要性。确保研究结果可靠、易于获取且对

业内专业人士具有行动指导意义仍然是一个关键挑战。

I.介绍例如，Beecham等人。[5]强调了这一问题，认为用于向

基于证据的软件工程（EBSE），由Kitchenham等从业者传达研究发现的媒介在弥合这一差距中扮演着

人。[16]引入，是医学中的循证原则的一种适应性应用，重要角色。为了解决这些问题，Cartaxo等。[8]提出了

旨在为软件工程（SE）实践带来科学严谨性。它强调系证据简报作为一种替代的知识转移机制在软件工程中

统地收集、评估和综合实证证据以支持决策过程，主要的应用。证据简报将实证研究中最相关的结果浓缩成简

形式为系统文献综述（SLR）。SLR的核心目标包括总洁、结构化且易于访问的报告，旨在针对行业从业者。

结现有证据、识别研究空白，