大语言模型算法演进与开源生态建设历程.docxVIP

大语言模型算法演进与开源生态建设历程

目录

一、首步奠基．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

二、破茧成蝶．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

2.1自回归解码风格到直接生成处理模式的演变．．．．．．．．．．．．．．．．．4

2.2自注意力机制深化与稀疏连接设计．．．．．．．．．．．．．．．．．．．．．．．．．7

2.3张量并行、数据并行治理策略的复杂度调控．．．．．．．．．．．．．．．．．9

2.4大规模虚拟集群与分布式训练框架整合．．．．．．．．．．．．．．．．．．．．12

2.5多维度性能与扩展性的优化策略．．．．．．．．．．．．．．．．．．．．．．．．．．15

三、成型成熟．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．18

3.1参数精选与子空间迁移的核心方法探索．．．．．．．．．．．．．．．．．．．．18

3.2基于强化学习与蒸馏技术的压缩策略．．．．．．．．．．．．．．．．．．．．．．21

3.3异构部署加速器适配策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．22

3.4模型计算加速与轻量化系统匹配效能优化．．．．．．．．．．．．．．．．．．25

3.5中间表示与编