2025年模型并行层划分策略习题(含答案与解析).docx

2025年模型并行层划分策略习题(含答案与解析).docx

2025年模型并行层划分策略习题(含答案与解析)

一、单选题(共15题)

1.以下哪种模型并行划分策略能够最大化并行度,减少跨设备通信?

A.数据并行B.模型并行C.混合并行D.模型切片

2.在模型并行中,以下哪项技术用于解决梯度同步问题?

A.参数服务器B.梯度聚合C.模型重排D.数据重排

3.在模型并行中,以下哪项技术有助于减少内存访问冲突?

A.参数压缩B.数据预取C.线程池D.精度剪枝

4.在分布式训练框架中,以下哪种通信模式适用于低延迟通信?

A.点对点通信B.环形通信C.全局广播D.减少通信量

5.以下哪种模型量

文档评论(0)

1亿VIP精品文档

相关文档