2021年hadoop常见笔试题答案.docVIP

Hadoop测试题 一．填空题，1分（41空），2分（42空）共125分 (每空1分) datanode 负责HDFS数据存放。 (每空1分)HDFS中block默认保留 3 份。 (每空1分) ResourceManager 程序通常和 NameNode 在一个节点开启。 (每空1分)hadoop运行模式有： 单机模式 、 伪分布模式 、 完全分布式 。 (每空1分)Hadoop集群搭建中常见4个配置文件为： core-site.xml 、 hdfs-site.xml 、 mapred-site.xml 、 yarn-site.xml 。 (每空2分)HDFS将要存放大文件进行 分割 ， 分割 后存放在既定存放块 中，并经过预先设定优化处理，模式对存放数据进行预处理，从而处理了大文件储存和计算需求。 (每空2分)一个HDFS集群包含两大部分，即 namenode 和 datanode 。通常来说，一个集群中会有一个 namenode 和多个 datanode 共同工作。 (每空2分) namenode 是集群主服务器，关键是用于对HDFS中全部文件及内容数据进行维护，并不停读取统计集群中 datanode 主机情况和工作状态，并经过读取和写入镜像日志文件方法进行存放。 (每空2分) datanode 在HDFS集群中担任任务具体实施角色，是集群工作节点。文件被分成若干个相同大小数据块，分别存放在若干个 datanode 上， datanode 会定时向集群内 namenode 发送自己运行状态和存放内容，并依据 namnode 发送指令进行工作。 (每空2分) namenode 负责接收用户端发送过来信息，然后将文件存放位置信息发送给 client ，由 client 直接和 datanode 进行联络，从而进行部分文件运算和操作。 (每空1分) block 是HDFS基础存放单元，默认大小是 128M 。 (每空1分)HDFS还能够对已经存放Block进行多副本备份，将每个Block最少复制到 3 个相互独立硬件上，这么能够快速恢复损坏数据。 (每空2分)当用户端读取操作发生错误时候，用户端会向 namenode 汇报错误，并请求 namenode 排除错误 datanode 后，重新依据距离排序，从而取得一个新 读取路径。假如全部 datanode 全部汇报读取失败，那么整个任务就读取失败。 (每空2分)对于写出操作过程中出现问题， FSDataOutputStream 并不会立即关闭。用户端向Namenode汇报错误信息，并直接向提供备份 datanode 中写入数据。备份 datanode 被升级为首选 datanode ，并在其它2个 datanode 中备份复制数据。NameNode对错误DataNode进行标识方便后续对其进行处理。 (每空1分)格式化HDFS系统命令为： hdfs namenode –format 。 (每空1分)开启hdfsshell脚本为： start-dfs.sh 。 (每空1分)开启yarnshell脚本为： start-yarn.sh 。 (每空1分)停止hdfsshell脚本为： stop-dfs.sh 。 (每空1分)hadoop创建多级目录（如：/a/b/c）命令为： hadoop fs –mkdir –p /a/b/c 。 (每空1分)hadoop显示根目录命令为： hadoop fs –lsr 。 (每空1分)hadoop包含四大模块分别是： Hadoop common 、 HDFS 、 Mapreduce 、 yarn 。 (每空1分)namenode默认WebUI访问端口号为： 50070 。 (每空1分)ResourceManager默认WebUI访问端口号为： 8088 。 (每空1分)historyServer默认WebUI访问端口号为： 19888 。 (每空1分)修改blocksize大小属性是： dfs.blocksize ，在 hdfs-site.xml 配置文件里。 (每空1分)HDFS中namenodeRPC端口号为： 8021 ，其作用是： 接收Client连接RPC端口，用于获取文件系统metadata信息 。 (每空2分)Mapper类中有 4 个函数。 (每空1分)默认NameNode周期性从DataNode接收心跳信号时间间隔为： 3s 。 (每