国内大模型蒸馏风波的来龙去脉.pdfVIP

  • 28
  • 0
  • 约1.28万字
  • 约 8页
  • 2026-07-24 发布于北京
  • 举报

国内大模型蒸馏风波的来龙去脉

这是⼀份关于年-⽉间国内⼤模型⾏业发⽣的⼀系列事件的完整记录。所有信息均已匿

名化处理。

序幕:加密思维链的失守

⼀切始于⼀个发现:OpenAI和Anthropic的加密思维链(CoT)可以被提取和重。

在展开之前,需要先理解蒸馏的全貌。国内⼚商蒸馏fable并不是只蒸馏思维链——它们会蒸馏模型

能给出的一切:对话输出、ClaudeCode中的Agent轨迹、代码⽣成、⼯具调⽤等等。这些都是通

过⼤规模API调⽤即可获取的。但长期以来,有⼀个关键缺⼜堵住了完美的蒸馏效果:模型的原始

思维链。思维链包含了模型在给出最终答案前的完整推理过程,是模型最核⼼的内功⼼法。没有

它,蒸馏就像只有答案没有解题过程——能学,但学不透。

⽽这个缺⼜,在年上半年被彻底打开了。

这两家头部公司在模型的流式输出中,不仅返回给⽤户⼀份CoT总结,还会附带⼀个被称为思考

签名的Blob字段——⾥⾯是被Fernet

您可能关注的文档

文档评论(0)

1亿VIP精品文档

相关文档