摘要
摘要
随着人工智能大模型的发展,庞大的参数量和复杂的数据处理使得访存密
集型算子占比越来越高,而大量高延迟的访存导致了计算资源无法被充分利用。
Triton是一种基于分块范式的编程语言和编译器,通过张量级编程抽象和自动内
存优化等特性,有效提升了GPU计算单元利用率和内存访问效率。然而,在使
用Triton进行大模型训练和推理时,解决全局内存的低效访存仍是突破性能瓶
颈的关键。本文基于Triton
摘要
摘要
随着人工智能大模型的发展,庞大的参数量和复杂的数据处理使得访存密
集型算子占比越来越高,而大量高延迟的访存导致了计算资源无法被充分利用。
Triton是一种基于分块范式的编程语言和编译器,通过张量级编程抽象和自动内
存优化等特性,有效提升了GPU计算单元利用率和内存访问效率。然而,在使
用Triton进行大模型训练和推理时,解决全局内存的低效访存仍是突破性能瓶
颈的关键。本文基于Triton
文档评论(0)