互联网行业前沿技术与应用手册.docxVIP

互联网行业前沿技术与应用手册

第1章

大模型与多模态融合

1.1通用大模型架构演进与推理加速

通用大模型（GeneralLargeLanguageModels,GLMs）正从早期的“预训练即完成”（Pre-trained）阶段，向“混合架构”与“高效微调”演进，通过引入MoE（MixtureofExperts）机制，在保持模型宽泛知识的同时，通过动态路由机制将计算资源集中在高概率的专家模块上，显著降低了显存占用。在推理加速方面，行业正从传统的Transformer架构向混合注意力机制（HybridAttention）和稀疏化注意力机制转变，利用稀疏注意力（Spar