CN119829282A 一种大语言模型系统及其请求响应方法 （北京沃东天骏信息技术有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN119829282A

(43)申请公布日2025.04.15

(21)申请号202411897555.0

(22)申请日2024.12.20

(71)申请人北京沃东天骏信息技术有限公司

地址100176北京市大兴区北京经济技术

开发区科创十一街18号院2号楼4层

A402室

(72)发明人郭锦荣杨培军朱小坤

(74)专利代理机构中原信达知识产权代理有限责任公司11219

专利代理师冯亚娥司瑞华

(51)Int.Cl.

G06F9/50(2006.01)

G06N5/04(2023.01)

权利要求书3页说明书12页附图4页

(54)发明名称

一种大语言模型系统及其请求响应方法

(57)摘要

CN119829282A本发明公开了一种大语言模型系统及其请求响应方法，涉及大语言模型技术领域。该方法的具体实施方式包括：大语言模型系统包括预填充实例和解码实例，其中，预填充实例和解码实例分别部署于第一硬件和第二硬件上，第一硬件包括至少一个第一处理器，第二硬件包括至少一个第二处理器；第一处理器的算力和第一处理器的总数量根据预填充实例的负载特性确定，第二处理器的算力和第二处理器的总数量根据解码实例的负载特性确定，其中，第一处理器的总算力高于第二处理器的总算力。该实