原创力文档- 4
- 0
- 约9.74千字
- 约 15页
- 2017-06-05 发布于湖北
- 举报
教你如何查看API
及使用hadoop 新api 编程：
hadoop2.4 新api 与旧api 调用例子对比
说明
问题导读：
一直想写hadoop 新旧api 之间的关系，这对于爱好编程的程序猿来讲，是必备的。
1.hadoop 中mapred 与mapreduce 包，那个是被弃用的？
2.hadoop 旧api 如何初始化jo b？
3.hadoop 新api 使用那个函数来初始化job 对象？
程序说明：
下面的mapreduce 程序的功能只是计算文件booklist.log 的行数，最后输出结果。
分别调用旧包和新包的方法编写了两分带有main 函数的java 代码。
a,新建了mapreduce 工程后，先把hadoop 的配置目录下的xml 都拷贝到src 目录下。
b,在工程src 同级目录旁建立conf 目录，并放一个perties 文件。
c, src 目录下建立bookCount 目录，然后再添加后面的子java 文件。
d, 右击run as application或选择hadoop 插件菜单run on hadoop来触发执行MapReduce
程序即可运行。
生成要分析的输入文件
vi namelist.log
添加以下内容即可：
name
name
name
name
name
name
name
name
name
name
name
name
保存退出。
执行的前请通过hdfs 的copyFromLocal 命令拷贝到hdfs 的/user/hduser 用户目录下。
老API 使用mapred 包的代码
文件BookCount.java：
package bookCount;
import java.io.IOException;
import java.util.Iterator;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapred.FileInputFormat;
import org.apache.hadoop.mapred.FileOutputFormat;
import org.apache.hadoop.mapred.JobClient;
import org.apache.hadoop.mapred.JobConf;
import org.apache.hadoop.mapred.MapReduceBase;
import org.apache.hadoop.mapred.Mapper;
import org.apache.hadoop.mapred.OutputCollector;
import org.apache.hadoop.mapred.Reducer;
import org.apache.hadoop.mapred.Reporter;
import org.apache.log4j.Logger;
import org.apache.log4j.PropertyConfigurator;
public class BookCount {
public static Logger logger = Logger.getLogger(BookCount.class);
public static void main(String[] args) throws IOException {
PropertyConfigurator.configure(conf/perties);
logger = Logger.getLogger(BookCount.class);
文档评论（0）