CN118313458B 数据处理方法、数据处理器、电子设备、存储介质 （上海壁仞科技股份有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN118313458B(45)授权公告日2025.07.08

(21)申请号202410338784.2

(22)申请日2024.03.22

(65)同一申请的已公布的文献号申请公布号CN118313458A

(43)申请公布日2024.07.09

GO6N3/06(2006.01)

(56)对比文件

CN116957901A,2023.10.27CN117494816A,2024.02.02审查员李文静

(73)专利权人上海壁仞科技股份有限公司

地址201100上海市闵行区陈行公路2388

号16幢13层1302室

(72)发明人请求不公布姓名请求不公布姓名

请求不公布姓名

(74)专利代理机构北京市柳沈律师事务所

11105

专利代理师彭久云万里晴

(51)Int.CI.

GO6N5/04(2023.01)权利要求书3页说明书16页附图4页

(54)发明名称

数据处理方法、数据处理器、电子设备、存储介质

(57)摘要

CN118313458B一种数据处理方法及数据处理器、存储介质和电子设备。该数据处理方法包括：获取推理任务对应的推理模型和用于推理任务的至少一个输入数据；利用多个执行组并行执行推理任务，其中，每个执行组包括多个硬件计算单元，不同执行组接收不同的输入数据以利用推理模型执行对接收的输入数据的推理操作。该数据处理方法提供了一种兼顾吞吐量和延迟的模型推理并行策略，利用多个执行组并行执行推理任务，每个执行组接收不同的输入数据，由此可以同时对多个输入数据进行推理操作，从而可以提高模型推理的吞吐量；此外，该数据处理方法中的每个

CN118313458B

获取推理任务对应的推理模型和用于推理任务的至少一个输入数据

利用多个执行组并行执行推理任务

S10

S20

CN118313458B权利要求书1/3页

2

1.一种数据处理方法，应用于处理器，其中，所述处理器包括多个执行组，每个执行组包括多个硬件计算单元，

所述数据处理方法包括：

获取推理任务对应的推理模型和用于所述推理任务的多个输入数据，其中，所述多个输入数据被输入所述推理模型以由所述推理模型对所述多个输入数据进行推理操作，得到所述多个输入数据的推理结果；

利用所述多个执行组并行执行所述推理任务，其中，各个执行组分别部署所述推理模型，不同执行组接收不同的输入数据以并行利用各自部署的所述推理模型执行对接收的输入数据的推理操作；

其中，所述推理模型包括至少一个计算图，所述至少一个计算图表征所述推理模型包

括的多个算子之间的数据依赖关系以及执行顺序，

利用多个执行组并行执行所述推理任务，包括：

针对每个执行组：

接收一个输入数据；

以计算图为单位，按照所述至少一个计算图之间的执行顺序关系，利用所述执行组顺序处理所述至少一个计算图，以进行对所述一个输入数据的所述推理操作，得到所述一个输入数据的推理结果，其中，所述执行组包括的每个硬件计算单元配置为处理当前执行的计算图中的一部分。

2.根据权利要求1所述的数据处理方法，其中，输入同一个执行组的输入数据依次串行进行所述推理操作，

每个执行组包括的所述多个硬件计算单元配置为共同执行对输入所述执行组的输入数据的所述推理操作。

3.根据权利要求1所述的数据处理方法，其中，以计算图为单位，按照所述至少一个计算图之间的执行顺序关系，利用所述执行组顺序处理所述至少一个计算图，以进行对所述一个输入数据的所述推理操作，得到所述一个输入数据的推理结果，包括：

根据所述执行组包括的硬件计算单元的数量P,将所述一个输入数据分成Q份子数据，其中，P和Q为正整数，且Q小于等于P;

将所述Q份子数据分别输入所述执行组包括的P个硬件计算单元中的Q个硬件计算单元，以按照所述至少一个计算图之间的执行顺序关系顺序处理所述至少一个计算图，得到所述Q个硬件计算单元分别输出的Q个推理中间结果；

基于所述Q个推理中间结果得到所述推理结果。

4.根据权利要求3所述的数据处理方法，其中，根据所述执行组包括的硬件计算单元的数量P,将所述一个输入数据分成Q份子数据，包括：

根据所述执行组包括的硬件计算单元