科技发展趋势与产业政策解读手册.docx

科技发展趋势与产业政策解读手册

第1章与式技术演进

1.1大模型架构革新与多模态融合

在架构层面，Transformer架构通过自注意力机制实现了信息的全局感知，使得模型能同时理解句子中的长距离依赖关系，这是大（LLM）能够产生自然语言理解的核心基石。为了解决纯文本模型的局限，MoE（MixtureofExperts）稀疏化架构被引入，通过动态路由将计算负载分散至多个专家网络中，不仅大幅降低了显存占用，还显著提升了模型的推理速度。

多模态融合技术利用视觉编码器和语言编码器将图像、音频等非文本数据映射为高维向量，让模型能够“看懂”图表、“听懂”语音指令，实现了跨模态的语义对齐