CN120068846B 语言任务处理方法、系统、设备、存储介质及程序产品 （山东海量信息技术研究院）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN120068846B(45)授权公告日2025.07.01

(21)申请号202510526403.8

(22)申请日2025.04.25

(65)同一申请的已公布的文献号申请公布号CN120068846A

(43)申请公布日2025.05.30

(73)专利权人山东海量信息技术研究院

地址250000山东省济南市高新技术开发

区国家信息通信国际创新园

(72)发明人沈艳梅宿栋栋刘伟

(74)专利代理机构北京集佳知识产权代理有限公司11227

专利代理师张志梅

(51)Int.CI.

GO6F40/216(2020.01)

GO6F9/50(2006.01)

GO6N5/04(2023.01)

(56)对比文件

CN117194056A,2023.12.08

CN119150994A,2024.12.17

审查员隗仁然

权利要求书4页说明书18页附图6页

(54)发明名称

语言任务处理方法、系统、设备、存储介质及

程序产品

(57)摘要

CN120068846B本发明公开了一种语言任务处理方法、系统、设备、存储介质及程序产品，涉及人工智能技术领域。其中，方法包括根据语言任务处理模型在执行语言任务过程中的资源需求信息确定其在预填充阶段和解码阶段的资源配置信息。从当前请求批请求中获取相匹配数量的目标请求段，对其进行预填充并行处理生成当前词元批。通过获取最新生成的词元批中各词元的下一个词元构成新的词元批的方式，生成多个新词元批，以满足合并批至词元批长度的条件。通过多个流水线并行对各词元批进行解码，并根据各任务处理请求的所有请求段的解码结果得到对应的语言任务处理结果。本发明可以解决相关技术在执行

CN120068846B

根据语言任务处理模型在执行语言任务过程中的

根据语言任务处理模型在执行语言任务过程中的资源需求信息，确定语言任务处理模型分别在预

填充阶段和解码阶段的资源配置信息，并根据预

填充资源配置信息和解码资源配置信息确定词元

批长度

从当前请求批的各任务处理请求中，获取与预填充资源配置信息相匹配个数的目标请求段，对各目标请求段并行进行预填充处理，生成当前词元批；在当前请求批中，通过获取当前时刻最新生

成的词元批中各词元的下一个词元，并将各下一ys202

个词元构成新的词元批的方式，生成多个新词元

批，以满足合并当前词元批和各新词元批的长度

达到词元批长度的条件

利用解码资源配置信息构建多个流水线，通过多

个流水线并行对各当前令牌批进行解码处理，并

根据各任务处理请求的所有请求段的解码结果得

到对应的语言任务处理结果

S203

S201

CN120068846B权利要求书1/4页

2

1.一种语言任务处理方法，其特征在于，包括：

根据语言任务处理模型在执行语言任务过程中的资源需求信息，确定所述语言任务处理模型分别在预填充阶段和解码阶段的资源配置信息，并根据预填充资源配置信息和解码资源配置信息确定词元批长度；

从当前请求批的各任务处理请求中，获取与预填充资源配置信息相匹配个数的目标请求段，对各目标请求段并行进行预填充处理，生成当前词元批；在所述当前请求批中，通过获取当前时刻最新生成的词元批中各词元的下一个词元，并将各下一个词元构成新的词元批的方式，生成多个新词元批，以满足合并所述当前词元批和各新词元批的长度达到所述词元批长度的条件；各目标请求段的长度相同，且为对应任务处理请求的部分内容；

利用解码资源配置信息构建多个流水线，通过多个流水线并行对各词元批进行解码处理，并根据各任务处理请求的所有请求段的解码结果得到对应的语言任务处理结果。

2.根据权利要求1所述的语言任务处理方法，其特征在于，根据语言任务处理模型在执行语言任务过程中的资源需求信息，确定所述语言任务处理模型分别在预填充阶段和解码阶段的资源配置信息，包括：

当所述语言任务处理模型的双倍内存占用需求量、激活内存占用量及最大生成长度对应的键值缓存的内存占用需求量之和，大于等于单个主机节点具有的内存资源总量，则使用不同主机节点处理所述预填充阶段和所述解码阶段；

当所述语言任务处理模型的双倍内存占用需求量、激活内存占用量及最大生成长度对应的键值缓存的内存占用需求量之和，小于单个主机节点具有的内存资源总量，则所述语言任务处理模型运