基于hadoop的大规模数据排序算法.docVIP

基于hadoop的大规模数据排序算法 Hadoop TeraSort 基准测试实验 组长：万虎成员：牛庆亚、宋思梦、文滔、胡海绅 关于Hadoop Terasort的分析会在另外一篇文章中单独分析，或等韩旭红组分析。我们为了能够更好的理解Hadoop Example里面的排序程序，在Hadoop环境下对Terasort进行了测试实验。 由于是在虚拟机环境中，生成的测试数据大小选择为100M，我们开始时选择对1G的数据进行测试，实验了两次，但是每次在排序的时候机器都会死掉。第一次排序在我们吃饭回来后还没有完成，机器卡死了。最终选择对100M数据进行排序，运行成功。 参考资料： Hadoop TeraSort 基准测试实验 /zklth/article/details/6295517 测试眼里的Hadoop系列之Terasort /leafy1980/article/details/6633828 相关资料 Hadoop MapReduce扩展性的测试: /a278934.html用MPI实现Hadoop: Map/Reduce的TeraSort /166546157.htmlHadoop中TeraSort算法分析: /mapreduce/hadoop-terasort-analyse/hadoop的1TB排序terasort/dtzw/blog/item/cffc8e1830f908b94bedbc12.htmlSort Benchmark: /Trir树：/cherish_yimi/archive/2009/10/12/1581666.htmlVMware虚拟机 ubuntu10.10 java version 1.7.0 Java(TM) SE Runtime Environment (build 1.7.0-b147) Java HotSpot(TM) Client VM (build 21.0-b17, mixed mode) hadoop- Hadoop 安装目录为 /home/apple/hadoop-/ 下面是整个运行Terasort过程中的输入命令及输出。 （注：橙色为终端的提示符及输入命令，蓝色为解释性文字，默认颜色为Hadoop输出。） 整个过程运行了如下命令： ////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////// cd hadoop-/ bin/stop-all.sh bin/hadoop namenode -format bin/start-all.sh bin/hadoop jar hadoop-examples-.jar teragen 100000 terasort/100000-input bin/hadoop fs -ls /user/apple/terasort/100000-input bin/hadoop jar hadoop-examples-.jar teragen 10 terasort/100000-input2 bin/hadoop jar hadoop-examples-.jar teragen 1000000 terasort/100M-input bin/hadoop jar hadoop-examples-.jar terasort terasort/100M-input terasort/100M-output bin/hadoop fs -ls terasort/100M-output bin/hadoop jar hadoop-examples-.jar teravalidate terasort/100M-output terasort/100M-validate ////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////// 运行过程及部分注释： 由于运行了Hadoop，为了防止出现乱七八糟的问题，我们先停止Hadoop，并对Hadoop的namenode进行重新格式化，并运行。 apple@ubuntu:~/hadoop-$ bin/stop-all.sh no jobtracker to stop localhost: no tasktracker to sto