大数据课程期末考试复习题及答案.docxVIP

4

大数据课程期末考试复习题及答案

1.有一批海量数据，需要实现复杂计算分析，此时建议使用下面哪个计算引

擎?

MapReduce

Spark(正确答案)

YARN

HDFS

2.有一批海量数据，后期主要侧重于快速的读写，有修改需求，此时建议存

储到哪个存储系统中?

HDFS

HBase(正确答案)

MySQL

Redis

3.在shell命令行中向HDFS上传文件，需要使用哪个命令?

upload

set

insert

put(正确答案)

4.针对HDFS中NameNode的职责描述，错误的是：

NameNode是整个文件系统的管理节点

NameNode中负责维护File与Blocklist的关系

NameNode中负责存储文件数据(正确答案)

NameNode负责接收用户读写请求

5.3个5M的文件和1个130M的文件，在HDFS中会产生多少个Block块?

3

5(正确答案)

6

6.HDFS中的哪个进程是负责定期将edits文件中的内容合并到fsimage中

的?

NameNode

DataNode

SecondaryNameNode(正确答案)

NodeManager

7.Hive中的数据存储在哪里?

HBase

HDFS(正确答案)

本地磁盘

MapReduce

8.Kafka的消费者设置哪种策略可以实现消费最新的数据?

before

earliest

latest(正确答案)

after

9.针对HDFS中的小文件问题，可以使用下面哪种解决方案?

Sequencefile(正确答案)

NlineFile

TextFile

DBFile

10.MapReduce中，哪个步骤默认是可选的?

排序

分组

规约(正确答案)

分区

11.MapReduce编程的时候，针对字符串需要使用哪种数据类型?

String

Text(正确答案)

TextWritable

StringWritable

12.在Hadoop2.x中，一个Block块的大小默认是：

64M

100M

128M(正确答案)

256M

13.Kafka中生产数据时，希望Leader节点回复收到消息才确认接收成功，

此时需要设置ack的值为?

0

1(正确答案)

2

3

14.在Hive中，想要实现全局排序需要使用?

SORTBY

ORDERBY(正确答案)

CLUSTERBY

DISTRIBUTEBY

15.Hive中创建外部表，需要使用关键字：

create

external(正确答案)

partition

location

16.Hive中哪种类型的表适合做数据抽样?

内部表

外部表

分区表

桶表(正确答案)

17.针对MapReduce程序数据倾斜优化的手段，错误的是：

增加Reduce任务个数

把倾斜的key打散

针对join操作，如果有一个小表，可以考虑实现map端join

增加Reduce阶段的内存(正确答案)

18.YARN中的哪种调度器可以实现多队列且队列内部任务先进先出?

FIF0Scheduler

CapacityScheduler(正确答案)

FairScheduler

QueueScheduler

19.针对Spark中RDD的描述，错误的是：

RDD数据只能存放在内存中(正确答案)

RDD在抽象上来说是一种元素数据的集合，它是被分区的

RDD提供的有容错性，可以自动从节点失败中恢复过来

RDD可以通过集合或者文件来创建

20.下面哪个算子可以解决SparkRDD中数据倾斜的问题?

reduceByKey

mapPartitions

groupByKey

repartition(正确答案)

21.针对Hive的描述，错误的是：

Hive的数据存储在HDFS中

Hive不支持数据更新

Hive底层执行引擎可以使用Tez

Hive的数据格式是由操作系统决定的(正确答案)

22.HDFS中的Federation机制无法解决哪个问题?

保证HDFS的高可用(正确答案)

提高HDFS集群的读写吞吐率

实现良好的隔离性

提高HDFS集群的扩展性

23.Spark这种架构不适合应用在下面哪个场景中?

低延时的海量数据计算需求

低延时SQL交互查询需求

准实时(秒级)海量数据计算需求

海量离线数的分布式存储(正确答案)

24.Spark中执行下面哪个算法不会真正执行任务?

reduceByKey(正确答案)

countBy