数据计算课程考试题目.pdfVIP

《数据计算》课程考试题目 一、选择题 1.下面哪个程序负责 HDFS 数据存储。 a)NameNode b)Jobtracker c)Datanode d)SecondaryNameNode e)tasktracker 答案： C Datanode 2. HDFS 中的 block 默认保存几份？ a)3 份 b)2 份 c)1 份 d)不确定 答案： A 默认 3 份 3. Hadoop 作者 a)Martin Fowler b)Kent Beck c)Doug cutting 答案： C Doug cutting 4.关于 SecondaryNameNode 哪项是正确的？ a)它是 NameNode 的热备 b)它对内存没有要求 c)它的目的是帮助 NameNode 合并编辑日志，减少 NameNode 启动时间 d)SecondaryNameNode 应与 NameNode 部署到一个节点 答案： C 。 5.下列哪项通常是集群的最主要瓶颈 a)CPU b) 网络 c)磁盘IO d) 内存 答案：C 磁盘 首先集群的目的是为了节省成本，用廉价的 pc 机，取代小型机及大型机。小型机和大型机 有什么特点？ 1.cpu 处理能力强 2. 内存够大，所以集群的瓶颈不可能是 a 和 d 3.如果是互联网有瓶颈，可以让集群搭建内网。每次写入数据都要通过网络（集群是内网）， 然后还要写入 3 份数据，所以 IO 就会打折扣。 二、填空题 1. Hadoop 三种运行的模式： 单机版 、 伪分布式 和 分布式 。 2.HDFS 默认 Block Size 是 64 MB 。（填128 也正确） 3. MapReduce 任务过程分为两个处理阶段：map 阶段和reduce 阶段。 4.Map/Reduce 框架由一个单独的master JobTracker 和每个集群节点一个slave TaskTracker 共 1 同组成。 5.MapReduce 确保每个reducer 的输入都是按键排序的。系统执行排序的过程（即将map 输 出作为输入传给reducer ）称为shuffle 。 一、简答题 题目1：什么是分布式计算 答：分布式计算是一门计算机科学，主要研究分布式系统。一个分布式系统包括若干通过网 络互联的计算机。这些计算机互相配合以完成一个共同的目标（我们将这个共同的目标称为 “项目”）。具体的过程是：将需要进行大量计算的项目数据分割成小块，由多台计算机分别 计算，再上传运算结果后统一合并得出数据结论。在分布式系统上运行的计算机程序称为分 布式计算程序；分布式编程就是编写上述程序的过程。 题目2：假如Namenode 中没有数据会怎么样？ 没有数据的Namenode 就不能称之为Namenode ，通常情况下，Namenode 肯定会有数据。 题目3：在Hadoop HDFS 中，集群中的DataNode 节点需要周期性地向NameNode 发送什 么信息？ 答：在Hadoop HDFS 中，DataNode 需要周期性地向集群中的DataNode Master 节点发送心 跳信息和块报告。接收到心跳信息，说明该DataNode 节点工作正常；块报告包含了DataNode 节点上所有块的列表以及块id 与磁盘文件存储的映射关系。 题目4：在Hadoop HDFS 中，SecondaryNameNode 的主要作用是什么？ 答：辅助NameNode ，分担其工作量；定期合并镜像文件（fsimage ）和编辑日志文件（fsedits ）， 并推送给NameNode ；在紧急情况下，可辅助恢复NameNode 节点。 题目5：请简要说明Hadoop YARN 的一级调度管理与二级调度管理？ 答：YARN 作为分布式集群资源管理框架，可用于集群资源的管理以及应用的调度。YARN 的一级调度管理包括计算资源管理和 Application 生命周期的管理；二级调度管理包括 Application 内部计算模型的管理以及多样化计算模型的管理。 二、论述题 题目1：MapReduce 中排序发生在哪几个阶段？ 答：一个 MapReduce 作业由Map 阶段和Reduce 阶段两部