小米大模型端侧部署落地探索(33页).pptxVIP

小米大模型端侧部署落地探索(33页).pptx

  1. 1、本文档共33页,可阅读全部内容。
  2. 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
  5. 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
  6. 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们
  7. 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
  8. 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
小米大模型端侧部署落地探索(33页)

小米大模型端侧部署落地探索

;

CONTENTS;

端侧AI的重要性;

在终端设备上直接运行和处理人工智能算法;;;

小米为什么做端侧AI

l(软件×硬件)A?

l轻量化、本地部署是小米大模型技术主力突破方向

l小米的端侧设备数量大;

LLM端侧部署的挑战;;;

平均阅读速度:

对于母语读者,平均阅读速度通常在300至500个字每分钟。(50+字/s)

快速阅读速度:

快速阅读者或经过训练的读者可以达到500至700字每分钟,甚至更高。(100+字

/s);

相关技术探索;

减少计算量

?剪枝

?量化

减小数据搬运?剪枝

?量化

?投机推理;

LLM剪枝

移除神经网络中不重要的权重,或者完全移除这些权重对应的神经元连接。;

LLM剪枝

结构化剪枝目前硬件支持最友好;

l剪枝+少量恢复训练超越相同大小的预训练模型

l简单但很重要,这个结论让剪枝有了意义

[ICLR’24]ShearedLLaMA:AcceleratingLanguageModelPre-trainingviaStructuredPruning;

高效剪枝TransAct

我们的结构设计有以下特点:

1)保留深度和hiddendim

2)减小MHA和MLP模块内的激活维度

3)参数量相近时,KVcache显著减小;

计算量端到端时延(w4a16);

剪枝效果结构搜索;

什么是量化(quantization)?

?在深度学习领域,量化是将浮点数值转化为定点数值的方法。;

存储开销

带宽开销(显存-SRAM)

计算开销;

影响量化精度的几个因素

?量化位宽

?量化粒度

?量化范围

?离群值(Outlier);;

LLM量化

参数弥补

?逐行量化参数,适当调整未量化的权重来弥补造成已经量化参数的损失;

自回归LLM的缺陷:

1)每次前向计算只生成一个词

2)LLM前向需要大量的数据访问和搬运

解码阶段算力充足,但带宽不足

解决方案:投机推理

?充分利用算力

?减少带宽压力

?一次前向生成多个tokens;

投机推理的流程

?SpeculativeInference:

采用高效的的方式获取1个(或多个)解码候选

?Verification:

???用原LLM对解码候选做并行验证,保留符合输出条件的部分;

Prompttokens

Promptkvcache

BiTA:Bi-DirectionalTuningforLosslessAccelerationinLargeLanguageModels;

采样词的logits取topK,形成树状结构进行验证;;

总结与展望;

?模型

1.3B~6.7B;

融合;

THANKS

智能未来,探索AI无限可能

IntelligentFuture,Exploringthe

BoundlessPossibilitiesofAI

文档评论(0)

***** + 关注
实名认证
文档贡献者

信息系统项目管理师持证人

该用户很懒,什么也没介绍

领域认证该用户于2023年08月23日上传了信息系统项目管理师

1亿VIP精品文档

相关文档