端侧大模型部署与轻量化推理优化技术研究.docxVIP

端侧大模型部署与轻量化推理优化技术研究

目录

一、研究背景与动因．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1传统云端部署的瓶颈探析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2边缘计算兴起与端侧需求．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

1.3大模型向端侧迁移的机遇．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

二、关键技术剖析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

2.1模型结构优化基础与框架．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

2.2量化策略与精度-性能权衡．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

2.3剪枝技术巧思与权值稀疏化．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

2.4知识迁移与模型蒸馏新论．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

2.5推理加速核芯技术研究．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

三、系统级挑战．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．18

3.1在线部署的实时性演变．．．．