大模型 Token 是什么？一文搞懂调用成本、限流和上下文为什么总超标.docx

大模型Token是什么？一文搞懂调用成本、限流和上下文为什么总超标

1.问题背景

运维大模型服务一段时间后,几乎所有人都会遇到同一个问题:账单看不懂。

具体表现有这么几类:

l云厂商控制台显示本月消费8000元,业务方问为什么比上月多了3倍,你打不开一个能直接回答这个问题的页面

l某个服务调用量看着不大,费用却很高,怀疑是不是被重试风暴打爆了,但没有按请求粒度统计过token

l想给业务方一个这个接口跑一次多少钱的估算,张口就错,因为分不清输入输出价格不同、缓存命中价格不同

l接了大模型网关(LiteLLM之类)之后,想按业务线分账,发现日志里根本没记t