陶炳哲-智能路由不只是选模型：Harness、任务评测与成本优化实践.pdfVIP

智能路由：

选型与生产实践

阶跃星辰开放平台

2026-09-06原稿·2026-10-17增补

01

智能路由成立的

三个前提

Part01·Why

智能路由要成立，依赖三个前提

尺寸差

小模型通常更快、推理成本更低；大模型承担更复杂的工作。

同尺寸也分岔

数据配方、架构设计、推理引擎适配，改变能力、价格与速度。

harness×目标任务

同模型、同思考力度，换执行框架，部分场景成本差2倍以上而质量不变。

03

1.1尺寸差：计算与资源是两本账

简化估算有架构与batch前提，最终回到任务实测

激活参数→边际成本

每token算力约为2倍激活参数；decode吞吐上限约为显存带宽/激活权重体积。

总参数→固定成本

MoE稀疏主要省计算；常见高性能部署仍需在集群中存放专家权重。

27B与13B/284B