基于MapReduce 数据挖掘平台设计与实现.pdfVIP

2013 2 计算机工程与设计 Feb. 2013 年 月 34 2 COMPUTER ENGINEERING AND DESIGN Vol. 34 No. 2 第 卷 第 期  基于MapReduce 的数据挖掘平台设计与实现 1，2 1 3 ， ， 黄 斌 许舒人 蒲 卫 ( 1． 中国科学院软件研究所 软件工程技术 中心，北京 100 190 ; 2 ． 中国科学院研究生院，北京 100 190 ; 3． 解放 军卫生信息中心，北京 100842) 摘 要: MapReduce 编程模型 的简单性和 高性价 比使得其适用于海量数据 的并行处理 。然而，MapReduce 欠缺对 多数据 源、 组件复用以及数据可视化 支持，这些缺点使 用户在运用 MapReduce 框 架进行数据挖掘 时暴露 出开发效率低下 ，重复开发等 问题。提出了一种基于 MapReduce 的数据挖掘平 台的设计与 实现 ，该设计 思想为 Hadoop 作 为大规模数据 计算平 台在数据 挖掘 、数据可视化以及 商业智能应用方面的不足提供了参考与 弥补。同时，基于该方法实现 了一个大规模数据挖掘工具 。 关键词: MapReduce 编程模型; 数据挖掘; Hadoop 平 台; 模型驱动; 可视化 中图法分类号:TP301 文献标识号: A 文章编号: 1000-7024 ( 2013) 02-0495-07 Design and implementation of MapReduce-based data mining platform HUANG Bin1，2 ，X Shu-ren1 ，PU Wei3 (1． Technology Center of Software Engineering ，Institute of Software ，Chinese Academy of Sciences ， Beijing 100190 ，China ;2 ． Graduate University ，Chinese Academy of Sciences ，Beijing 100190 ，China ; 3． Health Information Center of PLA ，Beijing 100842 ，China) Abstract :Profiting from its simplicity and high cost performance ，MapReduce programming paradigm is suitable for massive parallel data processing． However ，MapReduces lacking supports for multiple data source ，component reuse ，and data visua-lization bring in problems such as low efficiency development and redundant coding． A new design and implementation of MapReduce-based data mining platform is proposed to give reference implementation of massive data mining ，data visualiz