终端侧大语言模型的高效部署与压缩技术研究.docxVIP

终端侧大语言模型的高效部署与压缩技术研究

目录

一、文档概览．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1研究背景与意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2国内外研究现状概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

1.3研究内容与技术路线规划．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

1.4论文组织结构安排说明．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

二、大语言模型终端侧部署关键技术分析．．．．．．．．．．．．．．．．．．．．．12

2.1终端侧计算环境特征剖析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

2.2通用大语言模型模型压缩理论与方法．．．．．．．．．．．．．．．．．．．．．．14

2.3大语言模型终端便捷部署技术难点．．．．．．．．．．．．．．．．．．．．．．．．17

三、面向终端侧的模型压缩与部署策略设计与实现．．．．．．．．．．．．．17

3.1系统整体设计架构规划．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．17

3.2模型压缩模块设计实现．．．．．．．．．．．．．．．．．．．．．．．．．．