《大数据分析原理和应用》习题解答.pdfVIP

1章

一、单选题

．C2．B3．D4．C5．C6．B7．C8．A9．A

10．D11．B12．A13．B14．C15．C

二、多选题

1．BE2．ACD3．ABCD4．ABCDE5．AD6．ABD7．ABC8．AB

三、判断题

1．√2．×3．×4．√5．√6．×7．×8．×

第2章

答案

一、单选题

1．D2．B3．B

二、多选题

1．ABCE2．ABD

三、填空题

HDFSMapReduce分布式存储分布式处理

数据节点名称节点

集群资源管理器（ClusterManager）工作节点（Worker）

任务控制节点（Driver）进程（Executor）

动作转换

第3章

答案

一、单选题

1．B2.B3.A4.C5.A6.D7.C8.B

二、多选题

1.BC2.BD

三、判断题

1.×2.×3.√4.×5.×6.×7.×8.×

第4章

一、单选题

2.A3.C4.D

1.CD2.ABC

三、判断题

1.×2.√3.×4.×5.√6.×

四、思考题

1.Combiner和partition的作用：

Combiner分为map端和reduce端，作用是把同一个key的键值对合并在一

起。Combiner函数把一个map函数产生的多个key,value对合并成一个新的

key2,value2，并将新的key2,value2作为输入reduce函数中。这个value2亦

可称为values，因为有多个。合并的目的是减少网络传输。

partition是分割map每个节点的结果，按照key分别映射给不同的reduce，

也即把Map得到的结果按key值进行归类。

2.开发MapReduce程序时可以去掉reduce：

由于MapReduce计算输入和输出都是基于HDFS文件，所以大多数公司的

做法是把mysql或sqlserver的数据导入HDFS，计算完后再导出到常规的数据库

中，这是MapReduce不够灵活的地方之一。MapReduce优势在于提供了比较简

单的分布式计算编程模型，使开发此类程序变得非常简单，像之前的MPI编程

就相当复杂。

狭隘地来讲，MapReduce是把计算任务给规范化了，将业务逻辑给拆分成2

个大部分，Map和Reduce，可以先在Map部分把任务计算一半后，扔给Reduce

部分继续后面的计算。当然在Map部分把计算任务全做完也是可以的。

3.设计思路：

可以结合Top-K和WordCount的设计思路进行设计，先将大文件按数据按

照范围划分到不同的机器（可以根据数据值或者数据hash(md5)后的值），最好可

以让数据划分后可以一次读入内存。利用WordCount的思路统计每个分片内的

数据的频数，再统计每个分片内数据的频数最高的前个数据，最后通过一个

Reduce进程统计这个大文件的词频最高的前N个词。

需要特别提醒的是，如果将大文件直接进行分片，由于不同分片可能包含同

一个数据，如1000个分片都有100个数据A，则数据A虽然在每个分片内可能

不是出现频率最高的前N个数据，但却有可能是整个大文件中出现频率最高的

前N个数据。因此，我们应该按照数据的范围进行划分，确保相同数据存放在同

一个分片，这样才可以统计该数据在大