数据工程师学习培训题库四.docx

星环信息科技（上海）有限公司 TDH 数据平台认证工程师试题 姓名： _______________ 分数： ____________ 【 说明】 a) 客观题 30 题，每题 2 分，总计 60 分 b) 主观题 4 题，每题 10 分，总计 40 分 满分 100 分。 【不定项选择题（每题  2 分共  60 分）】 1 、下列与  HDFS  有关的说法正确的是（  ） A． HDFS DataNode  节点上的磁盘需要做  RAID1  ，用来保证数据的可靠性 B． HDFS  可以在磁盘之间通过  balance  操作，平衡磁盘之间的负载情况 C． HDFS  建议  DataNode  之间的数据盘个数、容量大小不一致，以体现  HDFS  的负载 均衡能力 D．规划  HDFS  集群时，建议  Active  NameNode  和  Standby  NameNode  分配在不同的 机架上 2 、以下哪个服务作为  HDFS  高可靠协调服务的共享存储？（  ） ZooKeeper JournalNodes NameNode ZKFailoverController 3 、在集群中配置  HDFS  的副本数为  3，设置数据块大小为  128M  ，此时我们上传一份  64M 的数据文件，该数据文件占用  HDFS  空间大小为（  ） A.64M B . 128M C . 384M D . 192M 4 、在 Yarn 服务中，不包含以下哪种角色（ A . ResourceManager B . NodeManager C . ApplicationMaster D . Contianer  ） 5 、 ResourceManager  是  的主要组成部分，有关其功能描述不正确的是（  ） A .  它直接将集群所拥有的资源按需分配给运行在  YARN  上的应用程序 B . 它负责将集群中的所有资源进行统一管理和分配 C . 它接受各个节点的资源汇报信息 D . 它把资源按照策略分配给各应用 星环信息科技（上海）有限公司 6、当前用户提交了一个  wordcount  词频统计的任务，  最后任务执行失败，  可能的原因有 哪些（ ） A .  当前集群中没有足够的资源，不足以满足当前  wordcount  任务的需求 B . C .  执行该任务的用户没有权限访问 用户在执行任务之前在 HDFS  HDFS 上的数据文件 相应的目录下创建了提交任务时指定的输出目录 D .  以上原因都有可能 7、以下关于外表和托管表描述正确的是（ ） A、外表的数据存储在本地，托管表的数据存储在 hdfs 上 B、删除托管表只会删除 Inceptor 上的元数据不会删除数据文件，  删除外表两者都会 被删除 C、删除外表只会删除  Inceptor  上的元数据不会删除数据文件，  删除托管表两者都会 被删除 D、删除托管表或外表，  incepotr  上的元数据和数据文件都会被删除 8、 SQL 运行中如果出现 maptask 数据特别多，执行时间又很短时可以通过小文件合并来 进行优化，以下是合并参数有（ ） SET ngmr.partition.automerge = TRUE; SET ngmr.partition.mergesize = n; SET ngmr.partition.mergesize.mb = m; SET mapred.reduce.tasks = N; 9、以下关于 inceptor 日志信息描述正确的有（ ） A. Inceptor server 日志存放于各节点的 /var/log/inceptorsql[x]/hive-server.log B. 可以通过 inceptor server 4040 查看 SQL 错误日志 Excutor 日志存放于 excutor 节点的 /var/log/inceptorsql[x]/spark-excutor.log D． ExcutorGC 日志存放于 excutor 节点的 /var/log/inceptorsql[x]/spark-excutor.gc.log 10、 tableA 有 10G 的数据， tableB 有 100G 的数据，两个表通过共有的 id 列做关联查询 name 列，以下方式可以优化计算效率的是（ ） select /*+MAPJOIN(a)*/ a.name,b.name from tableA a join tableB b on a.id=b.id se