2025年模型部署工程师：Transformer架构与分布式训练系统设计面试题.docx

2025年模型部署工程师：Transformer架构与分布式训练系统设计面试题

一、单选题（共15题）

1.以下哪项技术是实现Transformer模型并行处理的核心？

A.数据并行

B.模型并行

C.流水线并行

D.混合并行

答案：B

解析：模型并行是将整个模型分为多个子模型，并在不同的计算单元上独立训练，适用于大型Transformer模型，可以有效利用多GPU资源，提高训练效率，参考《分布式训练框架：原理与实战》2025版4.2节。

2.在分布式训练系统中，以下哪种负载均衡策略有助于提升系统整体性能？

A.最小负载策略

B.负载感知策略

C.响应时间优先策略

D