基于大数据挖掘的科技项目查重模型研究-mipaper.pdfVIP

数字技术 基于大数据挖掘的科技项目查重模型研究* 李善青，赵 辉，宋立荣 摘 要 科技项目查重是避免重复立项、重复建设的重要措施之一，目前缺乏行之有效的方法。文 章提出基于大数据挖掘和多源信息整合的项目查重方法，以科技项目的基本信息、发表论文信息、 关键词、负责人信息和承担机构等要素构建的大数据网络为研究对象，利用多源信息整合方法构建 科技项目的相似度判别模型，并采用Hadoop 框架实现海量数据的快速挖掘。文章介绍项目查重模 型，重点讨论需要解决的关键问题，为解决项目查重问题提供一种全新的思路和方法。 关键词 大数据挖掘 多源信息整合 科技项目查重 Hadoop 架构 引用本文格式 李善青，赵辉，宋立荣. 基于大数据挖掘的科技项目查重模型研究[J]. 图书馆论坛， 2014 （2）：78- 83. Study on Detection Model of Similar Scientific Project Based on Big Data Mining LI Shan- qing，ZHAO Hui ，SONG Li- rong Abstract Checking out similar project is very important to avoid repetition in project approval. However ， there is no way to find out similar project effectively for the moment. This paper proposes a novel method of detecting scientific projects similitude based on big data mining and multi -source information integration. Using that method，the authors studied the huge data network consisting of the information about the project ，published papers ，experts and institutions ，as well as the keywords ；built up a detection model of project similitude by integrating multi-source information ；and adopted the Hadoop to speed up big data mining. This paper presents the detection model of project similitude and its key issues ； in hope of providing brand-new thinking and methods for detecting similar projects in scientific project management. Keywords big data mining ；multi-source information integration ；similarity detection for scientific projects ；Hadoop architecture 0 引言 资助规模和强度，科技项目的数量和经费在近 年均得到显著提升，形成多层次的国家科技计 为推动科技创新，我国不断加大对科研的 划资助体系。随之而来的重复立项问题日趋严 * 本文系中国科学技术信息研究所科研项目预研基金 “面向重复立项检测的多源信息整合机制研究” （项目编号： YY201214），国家自然科学基金项目 “大数据挖掘在科技项目查重中的应用研究” （项目编号，国家社 会科学基金项目 “网络环境下科技信息资源建设中的质量元数据及评估应用研究” （项目编号：12BTQ016）研究成 果之一 78