利用Hadoop与MapReduce解决大数据问题优化方案.pdfVIP

AddressingBigDataProblemUsingHadoopandMap

Reduce

如今企业使用的数据库的大小正在逐日以指数级增长。同时，为方便事务决策而对海量

数据进行分析处理的需求也日渐增长。一些商业以及科技应用需要以有效的方式每日对TB

级的数据进行处理。这就导致业界将面对由于传统数据库系统和软件工具在有限时间内处理

海量数据能力不足而产生的大数据问题。由于用途不同（诸如、标记、强调、索引、搜

索等等），数据处理包括多种多样的操作。而对于单个或少数几台计算机，在有限的时间内

或处理如此海量的数据是不可能的。本文报告了针对大数据问题的实验工作以及基于映

射化简程序框架的，使用Hadoop聚类、Hadoop分布式文件系统来进行，并行处理技

术来进行处理海量数据而得到的优化解决方案。考虑到海量数据的应用情境原型，Hadoop

聚类、Hadoop分布式文件系统以及映射化简程序框架的原型均已安装完毕。从多次实验中

获得的数据表明，以上方法有利于解决海量数据问题。

ImprovingMapReducePerformancethroughData

cementin