CN119646369A 一种基于张量核心加速任意精度稀疏矩阵乘加运算的方法 （西安交通大学）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN119646369A

(43)申请公布日2025.03.18

(21)申请号202411728278.0

(22)申请日2024.11.28

(71)申请人西安交通大学

地址710049陕西省西安市碑林区咸宁西

路28号

(72)发明人张兴军刘润泽魏正谭镇东蔡志航胡江江刘昊为

(74)专利代理机构西安通大专利代理有限责任

公司61200

专利代理师闵岳峰

(51)Int.Cl.

G06F17/15(2006.01)

权利要求书3页说明书7页附图1页

(54)发明名称

一种基于张量核心加速任意精度稀疏矩阵

乘加运算的方法

(57)摘要

CN119646369A本发明公开了一种基于张量核心加速任意精度稀疏矩阵乘加运算的方法，该方法针对A100上张量核心的体系结构与其编程模型，结合深度学习并行处理稀疏矩阵的程序特性，把任意精度稀疏矩阵乘加运算算子与并行计算加速设备相结合，将通用矩阵分解为设定格式的稀疏矩阵，对稀疏矩阵进行分块并为其指定对应的并行计算硬件单元，使用共享内存减少内存冲突和访问时延，调用高级语言API函数库执行计算数据量的装载、计算和存储过程，最后对函数的输出数据进行规约，从而得到任意精度稀疏矩阵乘加运算在并行计算加速设备上的最终结果。本