hadoop应用及原理培训.ppt

写MapReduce程序的步骤： 1.把问题转化为MapReduce模型 2.设置运行的参数 3.写map类 4.写reduce类 例子：统计单词个数 mapreduce篇 开发hadoop依赖的jar和自带的example 到/ 下载hadoop-0.20.2.tar.gz，目前最新版为1.0.3。下载完后解压文件,y有hadoop-0.20.2-core.jar, hadoop-0.20.2-examples.jar, hadoop-0.20.2-core.jar :hadoop的核心类库 Hadoop所依赖的jar： hadoop所依赖的jar在lib目录下面。 Hadoop 自带的一些案例分析： hadoop-0.20.2-examples.jar是hadoop-0.20.2自带的一些案例。介绍如下： 1) aggregatewordcount 计算输入文件中文字个数的基于聚合的MapReduce程序。 2) aggregatewordhist 生成输入文件中文字个数的统计图的基于聚合的MapReduce程序。 3) grep 计算输入文件中匹配正则表达式的文字个数的MapReduce程序。 4) join 合并排序的平均分割的数据集的作业。 5)pentomino 解决五格拼版