基于Triton编译器的全局内存访存优化技术研究.pdf

基于Triton编译器的全局内存访存优化技术研究.pdf

摘要

摘要

随着人工智能大模型的发展,庞大的参数量和复杂的数据处理使得访存密

集型算子占比越来越高,而大量高延迟的访存导致了计算资源无法被充分利用。

Triton是一种基于分块范式的编程语言和编译器,通过张量级编程抽象和自动内

存优化等特性,有效提升了GPU计算单元利用率和内存访问效率。然而,在使

用Triton进行大模型训练和推理时,解决全局内存的低效访存仍是突破性能瓶

颈的关键。本文基于Triton

文档评论(0)

1亿VIP精品文档

相关文档