基于MapReduce算法的大数据技术研究.docVIP

基于MapReduce算法的大数据技术研究 摘要：文章提出了一种基于MapReduce的优化编程框架，来进行数据挖掘与处理。MapReduce是通过执行Map和Reduce两个阶段把大数据分割成小数据族，再并行处理这些小数据族输出得到我们想要的结果。优化过的MapReduce加快了数据处理速度，提高了大数据处理效率。所有的数据存储于HDFS中，为了方便编程人员高效地对存储好的数据进行查询和处理，Hive提供了一套SQL数据操作语言，并将其转换成MapReduce程序执行。改进的大数据算法具有更快地数据处理速度，更准确的数据查询能力。 关键词：大数据；数据挖掘；数据处理；MapReduce；Hive Research of big data technology based on MapReduce algorithm Abstract:This paper presents an optimization-based MapReduce programming framework for data mining and processing. MapReduce is through the implementation of Map and Reduce in two phases to split large data into smaller data clan, then the parallel processing of these small family of data output to get the results we want. Optimized MapReduce speed up data processing speed, improve the efficiency of large data processing. All data is stored in HDFS, in order to facilitate the programmers efficiently good data storage and query processing, Hive provides a set of SQL data manipulation language, and converts it into MapReduce program execution. Improved large data algorithm has faster data processing speed, more accurate data query capabilities. Keywords: big data; data mining; data processing; MapReduce algorithm;Hive 0 引 言 随着计算机技术以及互联网技术逐渐普及到人们日常生活中的各个方面，随之而产生的数据量也在呈现指数级增长，大数据应运而生。而传统的数据处理系统面对大数据的挖掘与处理，往往并不适用，本文将系统地阐述如何进行大数据挖掘与处理。 大数据时代的战略意义不仅在于掌握庞大的数据信息，而且在于如何处理数据。广义角度的大数据，不仅包含大数据结构形式和规模，还泛指大数据的处理技术。大数据的处理技术是指能够从不断更新增长、有价值信息转瞬即逝的大数据中抓取有价值信息的能力。在大数据时代，传统针对小数据处理的技术可能不再适用。这样，就产生了专门针对大数据的处理技术，大数据的处理技术也衍生为大数据的代名词。这就意味着，广义的大数据不仅包括数据的结构形式和规模，还包括处理数据的技术。 1 数据挖掘技术 数据挖掘就是指采用计算机技术从大量原始采集数据中提取可用知识的过程。数据挖掘最早出现在20世纪90年代，随着计算机的普及，各种传感器的应用，一方面使得数据挖掘对象日益复杂，另一方面是庞大的数据量对原有的传统。 数据挖掘技术提出挑战。在这种背景下，基于Hadoop平台的MapReduce计算模式的云计算技术为此提出了解决办法[1]。新型数据挖掘技术集数据库、人工智能、机器学习以及统计学等多领域范畴在内的知识于一身。 1.1 MapReduce算法 MapReduce实现了两个主要功能：Map和Reduce。Map把一个函数应用于集合中的所有成员，然后返回一个基于这个处理的结果集。Reduce则是把从两个或者更多个Map中的一些中间结果，通过多个线程、进程或独立系统并行处理的结果集进行分类和归纳。 MapReduce通过把对数据集的大规模操作分发给网络上的每个节点来实现可靠性，每个节点会周期性地把完成的工作和状态信息返回给主节点。如果一个节点保持沉默超过一个预设的时间间隔，