基于Hadoop的大规模数据排序.docVIP

基于Hadoop的大规模数据排序算法 网络工程——终期报告 基于Hadoop的大规模数据排序 小组成员： 组长：韩旭红 1091000161 组员：李巍 1091000167 组员：李1091000169 组员： 1091000178 组员：焦天禹 1091000163 目录 一、 前言 4 二、 Hadoop及Mapreduce的相关介绍 4 1. Hadoop 4 （1） Hadoop简介 4 （2） Hadoop架构 5 （3） 分布式计算模型 5 2. Mapreduce 5 （1） map reduce 和hadoop起源 5 （2） mapreduce工作流程 6 （3） 运行环境 7 （4） 输入与输出 7 （5） Map/Reduce - 用户界面 7 三、 大规模数据排序 8 1. 简介 8 2. Nutch 9 四、 算法分析 10 1. Sort算法分析 10 （1） 排序实例 10 （2） 运行排序基准测试 10 （3） 代码分析 10 2. Secondsort算法分析 12 （1） 工作原理 12 （2） 具体步骤 12 （3） SecondarySort.java的部分代码 13 3. Terasort算法分析 15 （1） 概述 15 （2） 算法思想 15 （3） T