高算力环境下算法推理性能优化研究.docxVIP

高算力环境下算法推理性能优化研究

目录

一、综述与前沿探索．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1高算力环境下的算法推理瓶颈与挑战．．．．．．．．．．．．．．．．．．．．．．．2

1.2国内外相关领域的研究现状与进展．．．．．．．．．．．．．．．．．．．．．．．．．4

1.3本研究研究的目标、内容与核心观点．．．．．．．．．．．．．．．．．．．．．．．6

二、优化策略与关键技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

三、算子级优化与资源调度．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

3.1算法依赖的库级优化方案．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

3.1.1张量处理单元操作库的高效调用．．．．．．．．．．．．．．．．．．．．．．．．13

3.1.2混合精度训练与推理策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

3.2自定义操作与算子融合技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．18

3.2.1不同数据格式下对应计算资源的调度与调用．．．．．．．．．．．．．．22

3.2.2GPU/TPU异构环境下算子效率优化．．．．．．．．．．．．．．．．．．．．．．．25

四、模型端