电子行业AI系列之CPU：推理时代迎价值重估.pptx

摘要;目录;;1CPU和GPU本质是计算路径差异;2深度剖析CPU受益推理需求增长;;CPU训练vs推理的角色差异：训练场景CPU是“辅助”，推理场景CPU可以是主力”。

推理是“碎片化、长尾化、延迟敏感”的零售场景，属于异质化任务，CPU在Decode、小Batch低延迟、稀疏计算、长上下文KVCache管理、Embeddinglookup、后处理等多个子任务中较GPU更具竞争力，可完成70%+以上运行负载、承担主力角色。;总结来说，CPU可承担多种运算形式，在推理场景工作负载占比显著上升——

1）控制流与调度：训练中控制流开销被大量计算摊销，推理小batch场景kernell