基于概率图模型的代码库数据挖掘-计算机科学与技术专业论文.docxVIP

万方数据 万方数据 Submitted in total ful?lment of the requirements for the degree of Master in Computer Science and Technology Probabilistic Graphical Model Based Code Topic Mining Kai Jiang Supervisor Kenny Q. Zhu S????? ?? C??????? S?????? ??? E?????????? Jan. 13th, 2015 上海交通大学 学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研 究工作所取得的成果。除文中已经注明引用的内容外，本论文不包含任何其他 个人或集体已经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人 和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本 人承担。 学位论文作者签名： 日 期： 年 月 日 上海交通大学 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校 保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和 借阅。本人授权上海交通大学可以将本学位论文的全部或部分内容编入有关数 据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 保 密 □，在 年解密后适用本授权书。 本学位论文属于 不保密 □。 （请在以上方框内打“?”） 学位论文作者签名： 指导教师签名： 日 期： 年 月 日 日 期： 年 月 日 上海交通大学硕士学位论文 摘要 基于概率图模型的代码库数据挖掘 摘 要 源代码阅读是一项十分困难的工作，特别是对于那些有成百上千个文件的源代码工程 而言，比如 Linux 和 Gcc 这样的开源代码库，我们很难能够在短时间内清楚一个源文件是 在做什么。所以对源代码文件进行分析的自动化工具变得十分重要，例如一些可以自动分 析软件结构、功能、调用关系、开发过程甚至是开发人员与代码之间的一些联系等等。 一些传统的主题模型比如 LDA 模型可以利用概率关系从文本中挖掘其中包含的多种 主题。但是源代码数据与普通文本有着显著的区别，它们的各部分结构不是 “平等” 的。一 个代码文件中包含的数据有接近普通文本的注释，也有受到程序语言约束的代码。另外， 非监督型主题模型只能够给出主题的词分布，而无法得到确切的分类名。而且目前并没有 一个针对代码分类的标准分类系统。 在这篇文章中，我们提出了一个新的针对源代码库设计的概率图模型，用来对源代码 库进行主题挖掘。这个模型不是将代码文件当成普通文本处理，而是将不同的部分，包括 代码、注释、以及提交记录信息，进行不同的处理并通过主题将他们结合起来。因此，这 个模型在模拟源代码库的生成过程中，相比于其它的传统主题挖掘方法更加贴近源代码库 的真实生成过程。这使得我们得到的主题分布将更加可靠。 但是，如果只有这个概率图模型，我们仍然不能得到一个源代码文件的确切分类。所 以我们选择建立一个针对与源代码库的分类系统。在本文中，我们选择了对来自于著名的 程序问答网站 Stack over?ow 的数据进行处理，建立了一个多分枝的层次化分类系统。同 时，我们采用了不同的映射方法将源代码文件最终映射到相应的分类系统中。 关键词： 代码主题数据挖掘 EM 推导 分类系统构建 i — 上海交通大学硕士学位论文 ABSTRACT Probabilistic Graphical Model Based Code Topic Mining ABSTRACT Getting insight of the source code of one project is always a horrible job. Some large open source projects like Gcc and Linux have thousands of ?les, it is hard to get what are these codes about in a short time. The automated analysis of such repositories is important, for instance, to un- derstand software structure, function, complexity, and evolution, as well as to identify relationships between humans and the software they produce. Unsupervised learn