hadoop开发经验分享2研讨.pptxVIP

Hadoop从入门到精通 Hadoop开发经验分享 内容提纲 Hadoop组成结构 HDFS工作机制 Map/Reduce工作机制 Hadoop应用开发 Hadoop应用开发 1、Lzo文件存储 集群中通常存储数据是以文本文件存储 集群空间不足，可以采用Lzo压缩存储 Lzo文件作为输入时，可以直接使用 输出生成Lzo文件时，需要如下代码设置 要在new job(conf)函数之前设置，new job()会进行配置拷贝 conf.set(press, true); conf.set(pression.type, BLOCK); conf.set(pression.codec, pression.lzo.LzopCodec); Hadoop应用开发 2、Map的数目 Map的数目是根据输入数据job自己计算的 Job通过InputFormat类来计算map数目 默认的InputFormat可以处理文本文件和压缩文件 文本文件按照块进行分割，如下一个文件被分为5个块，启动5个map 可以通过设置mapred.max.split.size来定义块的大小，参数是以字节为单位的块大小 Hadoop应用开发 2、Map的数目 Map的数目通常不能有用户自己指定，而是根据输入数据job自己计算的 Lzo文件默认情况下不能进行拆分，1个文件对应1个map 可以对Lzo文件建索引，这样可以将1个lzo文件用多个map处理 hadoop pression.lzo.DistributedLzoIndexer dir 需要使用特殊的InputFormat job.setInputFormatClass(LzoTextInputFormat.class); 日志文件一般都是lzo压缩存储的，有时会遇到坏文件 job.setInputFormatClass(CombineFileMultiTextInputFormat.class); 这个InputFormat会将多个输入文件合在一个map里运行 Hadoop应用开发 3、Reduce的数目 主要控制输出文件大小 输出文件过大也会使本job的reduce执行时间过长 int reduceCount = Integer.parseInt(args[0]); Job job = new Job(conf); 。。。 job.setNumReduceTasks(reduceCount); Hadoop应用开发 4、MultipleInputs 示例新规定，系数大于1的再加20奖金，不能只是简单将value相乘，而是需要区分哪个value是系数，哪个value是工资 三个方案 1、数据标示 2、获取文件名 3、MultpleInputs JiangQiancheng 500 LiXiao 400 LiYi 20000 LiZhichao 500 QiHao 300 ShaoHaimin 400 YuHao 30 ZhangKun 600 ZhangYoushu 40 JiangQiancheng 1.1 LiXiao 1.0 LiYi 2.0 LiZhichao 1.0 ShaoHaimin 1.1 YuHao 1.1 ZhangKun 1.2 ZhangYoushu 1.0 Hadoop应用开发 4、MultipleInputs 1、数据标示 在生成输入数据的时候，用特殊符号区分 w:JiangQiancheng 500 w:LiXiao 400 w:LiYi 20000 w:LiZhichao 500 w:QiHao 300 w:ShaoHaimin 400 w:YuHao 30 w:ZhangKun 600 w:ZhangYoushu 40 f:JiangQiancheng 1.1 f:LiXiao 1.0 f:LiY