Spark面试题及答案.docxVIP

Spark面试题及答案

一、基础概念类

问题：Spark中的Driver和Executor分别负责什么？实际运行中它们的部署方式有哪些？

答案：Driver是Spark应用的主进程，主要做两件事：一是解析用户写的代码（比如Scala/Python脚本），把任务拆成DAG（有向无环图）；二是负责集群资源申请、任务分配和监控（比如跟踪Executor是否存活、任务执行进度）。Executor就是具体干活的进程，跑在Worker节点上，主要负责执行Driver分配的Task，并且会缓存计算过程中的数据（比如用cache()缓存的RDD）。

部署方式常见两种：一是YARN模式下，Driver可以在客户端（Client模式，适合调试，Driver跑在提交任务的机器上），也可以在YARN集群内部（Cluster模式，适合生产，Driver跑在YARN的NodeManager上，更稳定）；二是Standalone模式，Driver通常在提交任务的机器，Executor跑在集群的Worker节点。

问题：RDD的五大特性是什么？这些特性在实际计算中起到什么作用？

答案：RDD的五大特性是：①不可变（Immutability），创建后不能修改，只能通过转换算子生成新RDD；②分布式存储（Partitioned），数据分成多个分区存在不同节点；③依赖关系（Dependencies），每个RDD记录它从哪个父RDD来，形成依赖链；④分区计算函数（ComputeFunction），每个分区的计算逻辑由函数定义，并行执行；⑤可选的分区器（Partitioner），比如HashPartitioner、RangePartitioner，控制数据如何分区（只有Key-Value型RDD有）。

实际作用：不可变让容错变简单，出错了能通过依赖链重新计算；分布式存储和分区计算保证并行性，提高效率；依赖关系是Spark做DAG优化的基础（比如合并连续的窄依赖任务）；分区器能减少Shuffle数据量，比如按Key分区后，相同Key的Task能在同一节点执行。

二、核心原理类

问题：Spark中的Shuffle机制是什么？它会带来哪些性能问题？实际中怎么减少Shuffle的影响？

答案：Shuffle简单说就是“数据重新分布”的过程——当算子需要跨分区聚合数据时（比如groupByKey、reduceByKey），每个Executor会把自己的数据按目标分区规则（比如按Key哈希）分成多份，先写到本地磁盘（Map端），然后其他Executor再去拉取属于自己的那份数据（Reduce端），最后在本地聚合。

性能问题主要是：①磁盘IO多，Map端写文件、Reduce端拉文件都占IO；②网络传输数据量大，容易堵带宽；③容易产生小文件，后续任务读小文件效率低。

实际优化手段：①优先用有预聚合的算子，比如用reduceByKey代替groupByKey（reduceByKey会先在Map端做局部聚合，减少Shuffle数据量）；②调整Shuffle并行度，通过spark.sql.shuffle.partitions（SparkSQL）或spark.default.parallelism（RDD）设合适的值，一般设为集群CPU核心数的1-2倍，避免并行度过低导致单个Task处理数据太多；③开启Shuffle文件合并，spark.shuffle.consolidateFiles设为true，把多个Map任务的输出合并成一个文件，减少小文件数量。

问题：SparkSQL的执行流程是什么？和Hive相比，它的优势在哪里？

答案：SparkSQL执行流程大概分四步：①解析（Parse），把SQL字符串变成抽象语法树（AST），比如把“SELECTnameFROMuserWHEREage18”拆成关键词；②分析（Analyze），结合元数据（比如Hive元库的表结构）验证AST的合法性，比如检查name、age字段是否存在，表是否存在；③优化（Optimize），用Catalyst优化器做逻辑优化（比如谓词下推，把WHERE条件提前到扫描数据时执行，减少后续处理的数据量）和物理优化（比如选择Join策略，小表和大表Join用BroadcastJoin，避免Shuffle）；④执行（Execute），把优化后的逻辑计划转成物理计划（比如生成RDD的一系列操作），然后提交任务执行。

和Hive比优