5G通信大数据分析与应用 习题2及参考答案.docx

1、Hadoop发展至现在经历了几个大版本的更新，分别是什么？

参考答案：3个，hadoop1.0、hadoop2.0、hadoop3.0。

2、大数据组件中，提供数据存储的组件叫什么，主要包含了哪些实例（服务），实例的作用是什么？

参考答案：HadoopDistributedFileSystem，简称HDFS，是一个分布式文件系统。包含了NameNode和DataNode两个实例；NameNode存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等；DataNode在本地文件系统存储文件块数据，以及存储数据块等。

3、YARN的作用是什么，主要包含什么实例（服务），什么作用？

参考答案：主要负责集群资源的协调管理；ResourceManager(RM)：负责整个集群资源（内存、CPU等）的管理；NodeManager(NM)：负责单个节点服务器资源的管理。

4、MapReduce架构用于计算的阶段是什么？

参考答案：分为Map、Reduce两个截断，Map过程将输入数据拆分成多个小块分别进行处理，Reduce过程主要负责汇聚结果值。

列举几项Hive的优缺点？

参考答案：优点：操作接口采用类SQL语法，提供快速开发的能力（简单、容易上手）；避免了去写MapReduce，减少开发人员的学习成本。Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数。缺点：实现算法比较局限，迭代式算法无法表达；Hive调优比较困难，粒度较粗。

该章节介绍的计算法框架有哪些？哪个更优秀一些？

参考答案：Spark和MapReduce两种；Spark的计算更加优秀。

消息队列的组件是哪个？

参考答案：Kafka

Zookeeper的主要作用？

参考答案：ZooKeeper的主要作用是提供一种可靠的、分布式的协调服务，使得分布式系统中的各个节点能够协同工作，保持一致性，实现可靠的分布式应用。