2025年人工智能应用与发展手册.docx

2025年应用与发展手册

第1章基础理论演进与前沿趋势

1.1大架构原理与参数效率

大（LLM）的核心架构基于Transformer网络，通过自注意力机制（Self-Attention）捕捉序列中任意位置的语义依赖，摒弃了传统RNN的线性时间限制，使得模型能一次性处理数千字的上下文窗口。在参数效率方面，MoE（MixtureofExperts）架构通过引入稀疏激活机制，仅让部分专家模块同时工作，显著降低了显存占用和推理延迟，例如将参数规模从千亿级压缩至百万级仍保持高准确率。

混合精度训练技术（FP16/BF16）利用FP16的64位浮点格式替代传统的32位