CUTLASS跨平台编译与优化-2024全球机器学习技术大会.pdf

2024全球机器学习技术大会（北京站）主题涵盖大语言模型技术演进、多模态大模型前沿、大模型工程与架构、大模型应用开发实践、AI智能代理、代码大模型等12个热门专题，力求为全球开发者、研究人员、行业技术人员提供全方位、多角度的技术交流平台。

2024全球机器学习技术大会（北京站）主题涵盖大语言模型技术演进、多模态大模型前沿、大模型工程与架构、大模型应用开发实践、AI智能代理、代码大模型等12个热门专题，力求为全球开发者、研究人员、行业技术人员提供全方位、多角度的技术交流平台。

2024全球机器学习技术大会（北京站）主题涵盖大语言模型技术演进、多模态大模型前沿、大模型工程与架构、大模型应用开发实践、AI智能代理、代码大模型等12个热门专题，力求为全球开发者、研究人员、行业技术人员提供全方位、多角度的技术交流平台。

陈龙

中科加禾CTO

曾于中国科学院计算技术研究所获得博士学位，研究方向包括编译技术、并行计算及异构计

算。陈龙博士多年从事面向国产芯片的编程与编译技术研发工作，曾任华为编译器与编程语

言实验室架构师，主导过多项国产化芯片的编译器产品开发工作。技术涵盖高性能服务器、

2024全球机器学习技术大会（北京站）主题涵盖大语言模型技术演进、多模态大模型前沿、大模型工程与架构、大模型应用开发实践、AI智能代理、代码大模型等12个热门专题，力求为全球开发者、研究人员、行业技术人员提供全方位、多角度的技术交流平台。

无线通信、AI加速芯片等多个领域，面向市场获广泛应用。基于多年在芯片基础软件建设

上的经验积累，于2023年联合创办了中科加禾科技有限公司，致力于解决国产AI算力落地

应用所面临的困难。中科加禾通过全系统优化、编译技术及工具加持，提供大模型推理及微

调系统工具，为国产AI算力加速落地提供帮助。

演讲主题：

cutlass跨平台编译优化实践分享

CUTLASS跨平台编译与优化

2024全球机器学习技术大会（北京站）主题涵盖大语言模型技术演进、多模态大模型前沿、大模型工程与架构、大模型应用开发实践、AI智能代理、代码大模型等12个热门专题，力求为全球开发者、研究人员、行业技术人员提供全方位、多角度的技术交流平台。

陈龙-中科加禾

矩阵乘及CUTLASS简要介绍

2024全球机器学习技术大会（北京站）主题涵盖大语言模型技术演进、多模态大模型前沿、大模型工程与架构、大模型应用开发实践、AI智能代理、代码大模型等12个热门专题，力求为全球开发者、研究人员、行业技术人员提供全方位、多角度的技术交流平台。

CUTLASS在A架构上的编译

CUTLASS在A架构上的优化

矩阵乘及CUTLASS简要介绍

2024全球机器学习技术大会（北京站）主题涵盖大语言模型技术演进、多模态大模型前沿、大模型工程与架构、大模型应用开发实践、AI智能代理、代码大模型等12个热门专题，力求为全球开发者、研究人员、行业技术人员提供全方位、多角度的技术交流平台。

CUTLASS在A架构上的编译

CUTLASS在A架构上的优化

矩阵乘的重要性

•矩阵乘是Transformer模型架构的核心计算

=×,

,

2024全球机器学习技术大会（北京站）主题涵盖大语言模型技术演进、多模态大模型前沿、大模型工程与架构、大模型应用开发实践、AI智能代理、代码大模型等12个热门专题，力求为全球开发者、研究人员、行业技术人员提供全方位、多角度的技术交流平台。