基于LDA的软件中文文档和代码间关联关系的提取方法的研究.pdfVIP

基于LDA 的软件中文文档与代码间关联关系 的提取方法研究 许冶冰, 刘超 (北京航空航天大学计算机学院, 北京 100191) 摘 要 软件文档及其程序代码之间的关联性或可追踪性分析是软件分析、理解的重要基础。本文探讨了软件的中文文档 和程序代码中蕴含的主题及其相关性。针对软件文档的章节结构和词汇空间，以及程序代码结构、标识符命名空间、注释风 格等方面的特点，在LDA 模型的基础上提出了一种基于主题词的软件中文文档与代码间关联关系的分析方法。该方法依据 词汇的香农信息提取文本段的主题词。实验结果表明，主题词分析方法与 LSI 模型分析方法相比在查全率和查准率上均有 2%到10%的提高。 关键词 可追踪链；主题模型；LDA ；逆向工程 中图法分类号 TP311.5 Research on Retrieval Methods for Traceability between Chinese Documentation and Source Code based on LDA XU Ye-Bing, LIU Chao (School of Computer Science and Engineering, BeiHang University, Beijing 100191, China) Abstract In order to establish traceability between Chinese documentations and source codes more effectively, this paper proposes one method based on LDA model. It named the topic word-based traceability retrieval method(TRM) in which the topic words are extracted according to Shannon information. Experiment shows that, compared with the LSI method, the topic word method can increase the recall and precision from 2% to 10%. Key words Traceability Recovery; Topic Model; Latent Dirichlet Allocation (LDA); Reverse Engineering 的复杂度、方法的成熟度及所建立的关联关系的准 1 引言 确度进行了详细的说明和比较。信息检索 (Information Retrieval，IR)是目前被广泛使用的一种 软件由文档和程序源代码组成。文档中包含着 全自动建立可追踪链的方法，即通过构建信息检索 丰富的专业领域知识，包括应用需求、软件设计等 模型来发掘软件文档和代码间的关联关系[2,3,13,14] ， 方面的要求。这些内容与相应的代码之间存在着不 如概率模型、向量空间模型(VSM)和潜在语义索引 同程度的语义关联，比如某段代码是关于某项需 模型(LSI)等。采用信息检索方法的基本思路是将软 求、某项设计的具体实现或与其实现相关。发现和 件文档和代码都作为一般的文本，把源代码作为检 维护代码与文档间的关联关系 （也称可追踪链）， 索条件，把软件文档作为检索库，进行相应的检索。 对程序理解、需求跟踪、软件维护和复用等许多软 近年来，主题模型在自然语言处理中受到了越 [2]