实践编写mrgroup by join操作.pdfVIP

实践2内容

•编写MR完成SQLGroupBy+LeftOuterJoin操作

INSERTOVERWRITETABLEgby_out

SELECTcustomer_id,count(*)cnt

FROMorders

GROUPBYcustomer_idHAVINGcount(*)=3;

INSERTOVERWRITETABLEjoin_out

SELECTc.customer_name,o.order_id

FROMcustomersc

LEFTOUTERJOINorderso

ONc.customer_id=o.customer_idANDc.country=UK;

前序课程

•分布式编程模型的设计与演化

–MapReduce编程模型

–MapReduce编程接⼝

–MapReduce例⼦-WordCount

•分布式SQL引擎的设计与实现

–关系型计算基本原理

–分布式环境中的连接计算

–分布式环境中的聚合计算

MapReduce

•MapReduce是一个软件架构，用于大规模数据集（大于1TB）

的并行运算。概念“Map（映射）”和“Reduce（归纳）”，及他们的主

要思想，都是从函数式编程语言借来的，还有从矢量编程语言借来的特性。

【百科】

•详细过程

–Map/Shuffle(PartitionSort/Copy/Merge)/Reduce

•典型应用场景

–日志分析

–数据查询（离线分布式关系型计算）

–数据仓库ETL过程（Extract-Transform-Load）等

MapReduce（续）

•一个通俗的例子

•MapReduceexinedin41words

–Goal:countthenumberofbooksinthelibrary.

–Map:Youcountupshelf#1,Icountupshelf#2.

–(Themorepeopleweget,thefasterthispartgoes.)

–Reduce:Weallgettogetherandaddupourindividualcounts.

MapReduce（续）

•设计要点

–中间结果

–数据以何种方式

•WordCount伪代码

–来自《MapReduce:大规模集群上的

简单数据处理方式》

–框架负责分布式执行、Shuffle

MapReduce（续）

MapPartitionSortShuffleReduce

Files/splitsmerge

o1and120141

world1o1and120141

oworldo1o1and1and2