实验3-mapreduce编程初级实践.docVIP

实验3 MapReduce编程初级实践 实验目得 1、 通过实验掌握基本得 MapReduce编程方法； 2、 掌握用MapReduce解决一些常见得数据处理问题，包括数据去重、数据排序与数据挖 掘等。 实验平台 已经配置完成得Had o op伪分布式环境。 实验内容与要求 1、编程实现文件合并与去重操作 对于两个输入文件,即文件A与文件E,请编写Ma pRedu ce程序，对两个文件进行合 并,并剔除其中重复得内容，得到一个新得输出文件 C.下面就是输入文件与输出文件得一个 样例供参考。 实验最终结果（合并得文件）： ■ i J 鼻 如心* o ■ 2j *Meiige.jd^ci Ll Iidfi7/luidlhJbL9000/usei/w _ hdf5.//lutd 11 iu5t.9000/u*yX 2O15O1M y|yX耳1 2O15O1Q4 yyz ^U1 5011X? X 代码如下： p ackage 、M e rge ; im p o r t ja v a、i o、 lOEx c eption ; imp o rt or g ap a che、 had o op、co nf、 Confi g uration ; impor t o r g、apache、ha do op、f s、P a th; impor t o rg、a pache、hado op、i o、Tex t ; import o r g、a pac h e、hado o p、ma p reduce、Jo b; imp o rt o rg、apache、hadoop、mapreduce、Mapper; impo r t o rg、apa c he、h a do o p、m a predu c e、R e d uc e r； imp o rt o rg、a p ache、hadoop m ap re duce、lib、inp ut、； import o r g、ap a che、ha d oop、m apre duc e、li b、outpu t、; public cl ass M erge { publ i c st atic cl a s s M a p e x ten d s Map pe rO b ject, T e xt, T e x t , Tex t { pri va t e static Tex t text = n ew Te xt (); public v o id ma p (O b je ct key , Text va l u e, Conte xt co n t th r ows 10 E x c eptio n , I nte r r u pted E xcepti on { t ext = value; c o n t e x t、writ e (text, new T e xt( ” );) } } p u bli c s tatic class R e d uc e e x te n ds ReducerTe x t, Text, Text, Text { p u blic v o id r e duc e( Text k ey , Iterab 1 e T e x t valu e s, Con text con text) thr o ws lOExc e ptio n, Int e rr u p t edE xc e p tion { c on text、wr i te (key, n ew Te x t ( ” ); } } p ublic stati c void m ain (String[] ar g s) t hrows Exc e pti o n { C on f igur a t i on c onf = new Con figur at ion(); conf、s e t (”f s、defaultFS ” , hdfs: //localhost : 900 0 ); S tr i ng [] oth erA rgs = new String □ { input , ” u tput }; i f (otherArgs、len g th ! = 2 ) { S y s te m、e rr、print 1n (” Usa@ : Me r g e a n d dup 1 ic at e r e mov a l in out ); Sys t em、e x it(2 ); } ” Job j o b = Job、g etIn s ta