大模型词元服务性能监测报告（2026年）.pptxVIP

大模型词元服务性能监测报告

（2026年）

2026年10月

前言

随着大模型技术的迅速迭代，词元（Token）服务成为从技术走向应用的关键点，我国日均Token调用量持续攀升，2026年6月，国内词元日均消耗量约500万亿，是2025年12月的近4倍。产业中越来越多的MaaS（ModelasaService，模型即服务）平台厂商通过公有云API方式供给大模型Token服务。然而用户对Token服务性能缺乏直观的判断依据，且面临选型困难等各类问题。

为有效衡量服务性能，中国信息通信研究院（以下简称“中国信

通院”）人工智能研究所依托人工智能大模型及软硬件评测工业和信息化部重点实验室（以下简称“实验室”），联合中国人工智能产业发展联盟（AIIA）模型服务（MaaS）工作组和高质量词元服务工作组，自2025年以来持续开展公有云大模型Token服务性能监测工作。

监测显示，大模型Token服务性能整体呈现提升态势，头部平

台在每秒Token吞吐量等关键指标上持续优化，满足多数通用场景要求。本报告基于2026年1月-8月的监测数据，围绕各平台Token服务调用成功率、吞吐速度、首词时延、稳定性、价格、上下文窗口等维度，月均TPS相较2025年实现翻倍，原厂大模型整体时延有所增长，但开源模型在第三方