1. 您所在位置：
  2. 网站首页
  3. 文档分类
  4. 金融/投资/证券
  5. 行业分析

交银国际-基础模型行业系列，从开源到前沿：KimiK3技术报告解析.docx

交银国际-基础模型行业系列，从开源到前沿：KimiK3技术报告解析.docx

    目录

    KimiK3-具多项突破的SOTA开源模型 4

    模型架构深度解析–从技术看经济性 7

    注意力混合架构带来长上下文推理成本的压缩 7

    AttnRes：从“一维覆盖”到“二维检索”，信息不再随深度衰减 10

    StableLatentMoE专家分流成就万亿参数的稳定训练 12

    预训练层：打破参数迷信，工程效率重塑成本 14

    参数上2.8万亿是突破，但效率提升含金量更高 14

    MoonEP系统带来算力成本实质性节约 17

    后训练：专家团队淬炼到训练场组成的护城河 18

    训练场与出题工厂：RL真正的护城河 19

    Pre-IPO

    您可能关注的文档

    最近下载

    文档评论（0）

    1亿VIP精品文档

    更多 >

    相关文档

    更多 >