CN119645840A 应用于大模型流式接口的性能压力测试系统及方法 （浪潮软件集团有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN119645840A

(43)申请公布日2025.03.18

(21)申请号202411649894.7

(22)申请日2024.11.19

(71)申请人浪潮软件集团有限公司

地址250000山东省济南市高新区浪潮路

1036号S02楼

(72)发明人朱学良朱家兵孟建

(74)专利代理机构济南信达专利事务所有限公司37100

专利代理师潘悦梅

(51)Int.Cl.

G06F11/3668(2025.01)

G06F11/30(2006.01)

G06F11/34(2006.01)

权利要求书2页说明书6页附图1页

(54)发明名称

应用于大模型流式接口的性能压力测试系

统及方法

(57)摘要

CN119645840A本发明公开了应用于大模型流式接口的性能压力测试系统及方法，属于人工智能技术领域，要解决的技术问题为如何全面评估大模型流式接口在高并发场景下的表现。包括：测试数据管理模块，用于构建测试数据集；并发访问模拟模块，用于动态配置并发访问参数、并模拟生成多个用户的并发访问场景；性能监控模块，用于对并发访问场景下大模型流式接口进行监控记录；容错处理模块，基于预定义的异常处理策略对并发访问场景下大模型接口的异常情况进行分析处理，并形成错误日志文件；后