原创力文档- 1、本文档被系统程序自动判定探测到侵权嫌疑，本站暂时做下架处理。
- 2、如果您确认为侵权，可联系本站左侧在线QQ客服请求删除。我们会保证在24小时内做出处理，应急电话：400-050-0827。
- 3、此文档由网友上传，因疑似侵权的原因，本站不提供该文档下载，只提供部分内容试读。如果您是出版社/作者，看到后可认领文档，您也可以联系本站进行批量认领。
查看更多
天津大学
TianjinUniversity
大模型轻量化技术
张鹏
2024.8.24
目录天津大学
01大语言模型轻量化的技术需求
大语言模型轻量化的技术概览
02
03
大语言模型轻量化技术的详细讲解
大语言模型轻量化技术的未来展望
04
语言模型背景天津大学
●语言模型是自然语言处理任务中的核心技
●自然语言处理是国家重大战略需求
术，大语言模型的发展取得突破性进展
国务院新一代人工智能发展规划自然语言处理信息检索
8.自然语言处理技术。研究短文本的计算与分析技术，跨语言文本挖掘技术和面向
能的语义理解技术，多媒体信总理解的人机对话系统。
专栏2关键共性技术
自然语言处理技术ChatGPT
自然语言处理技术。重点突破自然语言的语法逻辑、字符概念表征和深度语义
交互，实现多风格多语言多领域的白然语言智能理解和白动生成。国
数字媒宣多模态内容理解
重点突破自然语言的语法逻辑、字符概
念表征和深度语义分析的核心技术算力资源消耗大可解释性差
语言模型的发展历史和关键难题天津大学
如何构建发展阶段关键难题
语义概率空间
统计语言模型
语义计算维数灾难
(N-gram)
神经语言模型
模型设计不可解释
(CNN、RNN)
联合概率：p(w?,W?…Wi)大型预训练语言模型
条件概率：p(wi|w?…Wi-1)(GPT)应用部署参数量大
总体思路：用轻量化的方式解决大模型实际应用部署过程中遇到的问题
大模型参数规模天津大学
196ms/token
73ms/token
文档评论（0）