CN114764331B 代码生成方法、装置、电子设备和计算机可读存储介质 （上海壁仞科技股份有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN114764331B(45)授权公告日2025.07.08

(21)申请号202210524218.1

(22)申请日2022.05.13

(65)同一申请的已公布的文献号申请公布号CN114764331A

(43)申请公布日2022.07.19

(73)专利权人上海壁仞科技股份有限公司

地址201100上海市闵行区陈行公路2388

号16幢13层1302室

(72)发明人请求不公布姓名请求不公布姓名请求不公布姓名请求不公布姓名请求不公布姓名请求不公布姓名

(74)专利代理机构北京市柳沈律师事务所

11105

专利代理师彭久云

(51)Int.CI.

GO6F8/41(2018.01)

GO6F40/186(2020.01)

GO6F18/25(2023.01)

GO6N3/0464(2023.01)

(56)对比文件

CN114327405A,2022.04.12

CN112529207A,2021.03.19

审查员辛小霞

权利要求书2页说明书10页附图4页

(54)发明名称

获取待生成代码的联合算子，联合算子包括至少一个预定义算子和至少一个自定义算子获取用于自定义算子的算子模板的模板信息

获取待生成代码的联合算子，联合算子包括至少一个预定义算子和至少一个自定义算子

获取用于自定义算子的算子模板的模板信息

基于模板信息，对预定义算子和自定义算子进行融合操

作，并由融合后的联合算子得到与联合算子对应的融合

后的算子代码

S110

S120

S130

(57)摘要

CN114764331B一种代码生成方法、代码生成装置、电子设备和计算机可读存储介质。该代码生成方法包括：获取待生成代码的联合算子，联合算子包括预定义算子和自定义算子；获取用于自定义算子的算子模板信息；以及基于模板信息，对预定义算子和自定义算子进行融合操作，并由融合后的联合算子得到与联合算子对应的融合后的算子

CN114764331B

CN114764331B权利要求书1/2页

2

1.一种代码生成方法，包括：

获取待生成代码的联合算子，其中，所述联合算子包括预定义算子和自定义算子；

获取用于所述自定义算子的算子模板信息；以及

基于所述算子模板信息，对所述预定义算子和所述自定义算子进行融合操作，并由融合后的所述联合算子得到与所述联合算子对应的融合后的算子代码；

其中，获取用于所述自定义算子的算子模板信息，以及基于所述算子模板信息，对所述预定义算子和所述自定义算子进行融合操作，并由融合后的所述联合算子得到与所述联合算子对应的融合后的算子代码，包括：

根据所述联合算子，生成汇编代码并获取所述算子模板信息，其中，所述汇编代码包括所述预定义算子对应的代码；

根据所述算子模板信息，生成用于实现所述自定义算子的计算功能的运算代码；以及

基于所述算子模板信息，将所述汇编代码与所述运算代码进行组合，以得到与所述联合算子对应的融合后的算子代码。

2.根据权利要求1所述的代码生成方法，还包括：

检测所述自定义算子是否满足融合条件；

其中，响应于所述自定义算子满足融合条件，执行所述获取用于所述自定义算子的算子模板信息，以及基于所述算子模板信息，对所述预定义算子和所述自定义算子进行融合操作，并由融合后的所述联合算子得到与所述联合算子对应的融合后的算子代码的操作；

其中，响应于所述自定义算子不满足融合条件，分别编译所述预定义算子和所述自定义算子，以得到与所述联合算子对应的非融合后的算子代码。

3.根据权利要求2所述的代码生成方法，其中，所述满足融合条件包括满足以下条件中的至少一个：

所述自定义算子的类型为支持融合操作的算子类型；

对硬件资源的分配满足融合需求；

所述自定义算子的粒度与所述预定义算子的粒度相匹配。

4.根据权利要求1所述的代码生成方法，其中，所述算子模板信息包括所述自定义算子对应的运算代码在融合后的算子代码中的位置信息；

基于所述算子模板信息，将所述汇编代码与所述运算代码进行组合，包括：

基于所述算子模板信息，用所述运算代码片段得到对应于所述自定义算子的模板算子；

基于所述位置信息，将得到的所述模板算子设置在所述汇编代码的序列中的相应位置处。

5.根据权利要求4所述的代码生成方法，其中，所述汇编代码