2025年信息技术创新与产业发展手册.docxVIP

2025年信息技术创新与产业发展手册

第1章与式技术

1.1大模型架构演进与算力基础设施

大模型架构已从传统的Transformer架构向混合注意力机制演进，通过引入MoE（MixtureofExperts）结构，将模型权重动态路由至不同专家子网络，使模型在100亿参数规模下实现1000亿次参数有效激活，推理速度提升30%。训练阶段采用高带宽低延迟的GPU集群，结合LoRA（Low-RankAdaptation）等微调技术，在保持基座模型性能的同时，将显存占用降低90%，使单卡训练14亿参数模型的成本下降40%。

推理端部署转向边缘计算与云端协