poj题目分类项目报告.docVIP

POJ题目分类项目报告 王海波 杜仲轩 张东颖 【项目介绍】 POJ题目分类项目是以POJ PKU Online Judge 用户提交并审核通过的数据为基础，通过分析提交代码中用户所定义使用的函数名将同类或类似题目聚集在一起，使得用户可以方便地找到类似的题目加强训练，提高POJ用户体验；同时增强了POJ系统对题目的管理能力。 【开发平台】 使用IDE：Eclipse + Hadoop 0.17 plugin； 测试平台：alimama并行计算集群； 开发语言：Java、C++； 【项目设计】 一、数据来源 实验原始数据由杜仲轩获得，内容为ACM 系统数据库中提取用户已提交并审核通过的代码，容量为1.3GB左右。 二、数据分析 1 我们通过使用文本分析工具，将原始数据中所有由用户定义使用的函数名提取出来，并统计相同的函数名在不同题目中出现的次数，数据格式如下： func_name prob_id_A@num_of_times_A [problem_id_B@num_of_times_B]… 2 分析同类函数名，并将同类函数名形成聚集。 在分析数据前我们曾经探讨过如何将算法实质相同的函数辨别出来并聚集在一起。例如：在使用最短路算法Dijkstra的题目中，用户倾向于定义名为dijkstra、dijk或zuiduanlu的函数，它们均实现了最短路算法。而我们