基于MapReduce算法的大数据技术研究.docVIP

基于MapReduce算法的大数据技术研究 摘要：文章提出了一种基于MapReduce的优化编程框架，来进行数据挖掘与处理。MapReduce是通过执行Map和Reduce两个阶段把大数据分割成小数据族，再并行处理这些小数据族输出得到我们想要的结果。优化过的MapReduce加快了数据处理速度，提高了大数据处理效率。所有的数据存储于HDFS中，为了方便编程人员高效地对存储好的数据进行查询和处理，Hive提供了一套SQL数据操作语言，并将其转换成MapReduce程序执行。改进的大数据算法具有更快地数据处理速度，更准确的数据查询能力。 关键词：大数据；数据挖掘；数据处理；MapReduce；H