2025年大模型模型并行设备映射(含答案与解析).docx

2025年大模型模型并行设备映射(含答案与解析).docx

2025年大模型模型并行设备映射(含答案与解析)

一、单选题(共15题)

1.以下哪项技术是实现大模型并行化训练的关键技术之一?

A.数据并行B.模型并行C.流水线并行D.硬件加速

A.[数据并行]B.[模型并行]C.[流水线并行]D.[硬件加速]

答案:B

解析:模型并行是将大型神经网络分割成多个部分,并在不同的处理器上并行训练。它是实现大规模神经网络并行化训练的关键技术之一。参考《大规模神经网络并行化训练技术白皮书》2025版3.1节。

2.在模型并行中,以下哪种映射方式能够最大化地减少跨设备通信开销?

A.按层映射B.按块映射C.按数据映射D

文档评论(0)

1亿VIP精品文档

相关文档