大数据实时计算工程师考试试卷与答案.docVIP

大数据实时计算工程师考试试卷与答案

一、单项选择题（每题2分，共20分）

1.以下哪种框架常用于大数据实时计算？

A.HadoopB.SparkStreamingC.HiveD.Pig

2.Kafka主要用于什么场景？

A.数据存储B.实时数据传输C.数据挖掘D.数据可视化

3.Flink基于什么模型进行计算？

A.批处理B.流处理C.内存计算D.分布式计算

4.实时计算中，窗口计算的作用是？

A.过滤数据B.对一段时间内的数据进行聚合C.排序数据D.去重数据

5.以下哪种语言不常用于大数据实时计算开发？

A.JavaB.PythonC.C++D.Scala

6.实时数据采集时，常用的技术是？

A.SqoopB.FlumeC.OozieD.Zookeeper

7.流计算中，数据的传输方式是？

A.批量传输B.实时传输C.定期传输D.按需传输

8.以下哪个不是实时计算框架的特性？

A.高吞吐量B.低延迟C.强一致性D.高容错性

9.实时计算任务调度常用的工具是？

A.AirflowB.HueC.AmbariD.Spark

10.实时计算结果存储到数据库，哪种数据库更适合实时读写？

A.MySQLB.RedisC.HBaseD.MongoDB

答案：1.B2.B3.B4.B5.C6.B7.B8.C9.A10.B

二、多项选择题（每题2分，共20分）

1.以下属于大数据实时计算框架的有（）

A.SparkStreamingB.FlinkC.StormD.MapReduce

2.Kafka具有的特点包括（）

A.高吞吐量B.可持久化C.分布式D.消息顺序性

3.实时计算中的窗口类型有（）

A.滚动窗口B.滑动窗口C.会话窗口D.固定窗口

4.数据采集过程中，可能采集的数据来源有（）

A.日志文件B.数据库C.传感器D.网页

5.用于实时计算的编程语言优势有（）

A.丰富的库B.高并发处理能力C.可扩展性D.执行效率高

6.实时计算中数据清洗的步骤通常包括（）

A.去重B.异常值处理C.数据标准化D.数据转换

7.以下哪些技术可用于实时计算中的数据缓存（）

A.RedisB.MemcachedC.EhcacheD.Cassandra

8.实时计算任务监控指标有（）

A.吞吐量B.延迟C.资源利用率D.任务成功率

9.流计算与批处理相比，其优势在于（）

A.实时响应B.低延迟C.适合大规模数据D.处理逻辑简单

10.实时计算结果可输出到以下哪些地方（）

A.数据库B.文件系统C.消息队列D.仪表盘

答案：1.ABC2.ABCD3.ABC4.ABCD5.ABCD6.ABC7.ABC8.ABCD9.AB10.ABCD

三、判断题（每题2分，共20分）

1.SparkStreaming只能处理实时流数据。（）

2.Kafka不支持数据持久化。（）

3.Flink可以在批处理和流处理模式下运行。（）

4.实时计算不需要考虑数据倾斜问题。（）

5.数据采集只能从文件系统获取数据。（）

6.滑动窗口的窗口大小和滑动步长必须相同。（）

7.实时计算中使用Python开发效率一定低于Java。（）

8.实时计算任务不需要进行资源管理。（）

9.流计算可以处理无界数据集。（）

10.实时计算结果只能存储在关系型数据库。（）

答案：1.×2.×3.√4.×5.×6.×7.×8.×9.√10.×

四、简答题（每题5分，共20分）

1.简述SparkStreaming的工作原理。

答案：SparkStreaming将实时输入数据流按时间片（如秒）分成小的批次数据，每一批次数据转换为SparkRDD进行处理，通过DAG调度器和任务调度器将任务分配到集群节点上并行计算，最后输出处理结果。

2.说明Kafka中生产者、消费者和主题的关系。

答案：生产者将消息发送到Kafka的主题中，主题可以看作是消息的分类或容器。消费者从主题中拉取消息进行消费，一个主题可以有多个生产者发送消息，也可以有多个消费者订阅消费消息。

3.简述实时计算中数据清洗的重要性。

答案：实时计算处理的数据往往包含噪声、错误、重复等问题。数据清洗能提高数据质量，避免错误数据影响计算结果准确性，减少无效数据占用资源，提升计算效率，确保实时计算系统稳定、高效运行。

4.列举Flink的一些核心特性。

答案：Flink具有高吞吐、低延迟的流处理能力；支持有状态计算；提供灵活的窗口操作；支持事件时间语义；可在多种集群环境运行，且具有良好的容错性和可扩展性。

五、讨论题（每题5分，共20分）

1.在实际项目中，如何选择合适的大数据实时计算框架？

答案：需考虑多方面因素。如计算场景，若需低延迟处理海量流数据，Flink更合适；若对批流一体有需求，SparkStreaming可考虑。还要看技术团队熟悉程度，熟悉Ja