普开数据大数据用实例：基于Hadoop的大规模数据排序算法.docxVIP

普开数据大数据应用实例：基于Hadoop的大规模数据排序算法　　基于Hadoop的大规模数据排序　　目录　　一、前言4　　二、Hadoop及Mapreduce的相关介绍4　　1.Hadoop4　　(1)Hadoop简介4　　(2)Hadoop架构5　　(3)分布式计算模型5　　2.Mapreduce5　　(1)mapreduce和hadoop起源5　　(2)mapreduce工作流程6　　(3)运行环境7　　(4)输入与输出7　　(5)Map/Reduce-用户界面7　　三、大规模数据排序8　　1.简介8　　2.Nutch9　　四、算法分析10　　1.Sort算法分析10　　(1)排序实例10　　(2)运行排序基准测试10　　(3)代码分析10　　2.Secondsort算法分析12　　(1)工作原理12　　(2)具体步骤12　　(3)SecondarySort.java的部分代码13　　3.Terasort算法分析15　　(1)概述15　　(2)算法思想15　　(3)Terasort算法17　　五、参考资料19　　一、前言　　我们小组主要对基于[hadoop的大规模数据排序算法、海量数据的生成做了一定的研究。我们首先对于hadoop做了初步了解，其次，mapreduce是hadoop的很重要的算法，我们在第二阶段对mapreduce以及一些代码做了分析。第三阶段，我们安装虚拟机和Linux以及hadoop的软件，配置运行环境。第四阶段，我们对大规模数据排序进行深入的研究，对nutch进行了简单的了解。第五阶段，对一些源代码进行分析，主要是排序算法中的sort.java,secondsort.java,terasort。下面的正文中将作出具体的介绍。　　二、Hadoop及Mapreduce的相关介绍　　1.Hadoop　　(1)Hadoop简介　　Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统，简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在低廉的硬件上。而且它提供高传输率来访问应用程序的数据，适合那些有着超大数据集的应用程序。　　(2)Hadoop架构　　图表1hadoop架构　　Hadoop有许多元素构成。其最底部是HDFS，它存储Hadoop集群中所有存储节点上的文件。HDFS的上一层是MapReduce引擎，该引擎由JobTrackers和TaskTrackers组成。　　(3)分布式计算模型　　一个hadoop集群往往有几十台甚至成百上千台lowcost的计算机组成，我们运行的每一个任务都要在这些计算机上做任务的分发，执行中间数据排序以及最后的汇总，期间还包含节点发现，任务的重试，故障节点替换等等等等的维护以及异常情况处理。　　所以说hadoop就是一个计算模型。一个分布式的计算模型。　　2.Mapreduce　　(1)mapreduce和hadoop起源　　MapReduce借用了函数式编程的概念，是Google发明的一种数据处理模型。因为Google几乎爬了互联网上的所有网页，要为处理这些网页并为搜索引擎建立索引是一项非常艰巨的任务，必须借助成千上万台机器同时工作(也就是分布式并行处理)，才有可能完成建立索引的任务。　　所以，Google发明了MapReduce数据处理模型，而且他们还就此发表了相关论文。　　后来，DougCutting老大就根据这篇论文硬生生的复制了一个MapReduce出来，也就是今天的Hadoop。　　(2)mapreduce工作流程　　MapReduce处理数据过程主要分成2个阶段：map阶段和reduce阶段。先执行map阶段，再执行reduce阶段。　　①在正式执行map函数前，需要对输入进行“分片”(就是将海量数据分成大概相等的“块”，hadoop的一个分片默认是64M)，以便于多个map同时工作，每一个map任务处理一个“分片”。　　②分片完毕后，多台机器就可以同时进行map工作了。　　map函数要做的事情，相当于对数据进行“预处理”，输出所要的“关切”。　　map对每条记录的输出以KEY,VALUEpair的形式输出。　　③在进入reduce阶段之前，要将各个map中相关的数据(key相同的数据)归结到一起，发往一个reducer。这里面就涉及到多个map的输出“混合地”对应多个reducer的情况，这个过程叫做“洗牌”。　　④接下来进入reduce阶段。相同的key的map输出会到达同一个reducer。reducer对key相同的多个value进行“reduce操作”，最后一个key的一串value经过reduce函数的作