面向垂直领域的大语言模型参数高效微调与推理加速策略.docxVIP

面向垂直领域的大语言模型参数高效微调与推理加速策略

目录

一、概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

（一）垂直领域大语言模型优化策略背景与意义．．．．．．．．．．．．．．．．．2

（二）参数高效微调与推理加速技术的发展脉络．．．．．．．．．．．．．．．．．4

（三）面向特定场景的技术需求分析．．．．．．．．．．．．．．．．．．．．．．．．．．．5

二、理论基础．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

（一）基础模型的持续预训练理论框架．．．．．．．．．．．．．．．．．．．．．．．．．6

（二）模型压缩与知识蒸馏的原理与演进．．．．．．．．．．．．．．．．．．．．．．11

（三）低精度计算与量化误差补偿机制．．．．．．．．．．．．．．．．．．．．．．．．14

三、参数高效微调方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．16

（一）AdaGroup参数束调整算法（二阶段优化）．．．．．．．．．．．．．．．．16

（二）低秩适应矩阵的动态稀疏结构设计．．．．．．．．．．．．．．．．．．．．．．18

（三）基于自适应正则化的结构化梯度修正策略．．．．．．．．．．．．．．．．20

四、推理加速技术体系．．．．．．．．．．．．．．．