CN119623631A 一种请求处理方法、装置、电子设备及存储介质 （中国电信股份有限公司技术创新中心）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN119623631A

(43)申请公布日2025.03.14

(21)申请号202411686713.8

(22)申请日2024.11.22

(71)申请人中国电信股份有限公司技术创新中心

地址102209北京市昌平区北七家镇未来

科技城南区中国电信北京信息科技创

新园11层1118室、1116室申请人中国电信股份有限公司

(72)发明人秦金晓施丽佳王兴科熊嘉歆陈瑛

(74)专利代理机构北京同达信恒知识产权代理

有限公司11291

专利代理师黄丽

(51)Int.Cl.

G06N5/04(2023.01)

G06F16/3329(2025.01)

权利要求书2页说明书11页附图3页

(54)发明名称

一种请求处理方法、装置、电子设备及存储

介质

(57)摘要

CN119623631A本申请涉及计算机技术领域，尤其涉及一种请求处理方法、装置、电子设备及存储介质，用于防止大模型因高并发出现幻觉，提升大模型的可用性。该方法包括：获取待处理请求，并从令牌桶中初次获取待处理请求对应的令牌，以及将当前滑动时间窗口的并发总数加1；若初次获取令牌失败，则基于并发总数，以及大模型的吞吐量、平均时延和最大可接受时延，确定重新获取令牌的重试次数和重试间隔时长；基于重试