- 1、本文档共53页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
AI专题•从模型视角看端侧AI
模型技术持续演进,交互体验有望升级
2024年7月
核心观点
基础的构建:模型实现高效压缩是端侧AI的第一步。模型尺寸变小、同时具备较好性能,是端侧AI
的前提。目前,在10B参数规模以下的模型中,7B尺寸占据主流,3B及以下小模型仍在探索,部分
小模型性能正逐步接近更大参数模型,如谷歌Gemini-Nano模型在部分测试基准上接近Gemini-
Pro、MetaLlama-3-8B模型表现可与Llama-2-70B匹敌。模型厂商为兼顾模型尺寸与性能,在算
法优化上进行积极探索,在模型压缩技术、稀疏注意力机制、多头注意力变体等领域取得持续进展,
帮助模型减少参数、降低存算需求,同时保持较好的性能,为端侧AI奠定小模型的基础。
落地的关键:模型适配终端硬件是端侧AI的第二步。小语言模型(SLM)不完全等于端侧模型,在
模型实现高效压缩后,需要进一步与手机硬件进行适配,帮助小模型装进终端。从众多小模型论文
中可以发现,当前主要存在内存、功耗、算力三大硬件瓶颈。其中,苹果在其论文《LLMina
flash》中指出,70亿半精度参数的语言模型,完全加载进终端需要超过14GB的DRAM空间;Meta
在其MobileLLM模型论文中指出,一个约有5000焦耳满电能量的iPhone,仅支持7B模型在10
tokens/秒的AI生成速率下对话不足2小时。为解决以上问题,手机芯片厂商正加速推进AI芯片研发,
在先进制程、内存容量及带宽、CPU和GPU性能、以及AI服务器上发力,手机品牌商也将配备更高
性能的电池、散热元器件,提升整体终端硬件能力,更好地支持AI模型。
体验的突破:模型助力人机交互是端侧AI的第三步。端侧模型通常能够支持用户完成AI初级任务,
然而更丰富、更深度的交互体验需要UI模型、云端模型、以及系统级AI进行有力支撑。其中,UI模
型可以提供手机UI界面理解的基础,云端模型能够帮助处理较为复杂的交互任务,系统级AI可以实
现多种模型间的调用与协同。在AI时代下,模型的端侧意义不止于类似ChatGPT的聊天机器人软件,
而在于赋能手机系统和应用交互的系统级AI,其带来的交互体验将成为影响用户换机的核心。从当
前的海外合作阵营来看,可分为“苹果+OpenAI”和“谷歌+高通+三星”两大阵营。未来,随着
端侧模型、配套硬件、AI系统的持续发展,终端市场有望呈现更多可能。
相关标的:苹果(AAPL.O)、三星电子(005930.KS)、高通(QCOM.O)、谷歌(GOOGL.O)等。
风险提示:端侧AI技术进展不及预期风险;行业竞争加剧风险;应用开发不及预期风险等。
1
目录
1基础的构建:模型实现高效压缩是端侧AI的第一步
1.1十亿级参数模型加速迭代,性能表现向百亿参数模型靠拢
1.2模型压缩技术助力端侧部署,注意力优化机制降低存算需求
2落地的关键:模型适配终端硬件是端侧AI的第二步
2.1从小模型论文看端侧硬件瓶颈:内存/功耗/算力
2.2从芯片厂商布局看硬件升级趋势:制程/内存/NPU/电池/散热
3体验的突破:模型助力人机交互是端侧AI第三步
3.1UI模型:手机界面理解能力提升,任务设计为人机交互奠定基础
3.2系统级AI:云端模型补充交互体验,系统升级支持更多AI场景
2
vXkXsY9XaXlXeWrQoP7NbP7NnPpPpNsOiNpPrOlOnOpPbRnMvMwMrRsRvPpNrO
1模型实现高效压缩是端侧AI的第一步
海外
您可能关注的文档
- 2024年信息披露典型违规案例分析报告:行政处罚.pdf
- 2024年信息披露典型违规案例分析报告:行政监管措施.pdf
- 2024年信息披露典型违规案例分析报告:纪律处分.pdf
- 2024年信息披露典型违规案例分析报告:自律监管措施.pdf
- 安集科技-市场前景及投资研究报告:国内抛光液龙头,品类拓展空间.pdf
- 百利天恒-市场前景及投资研究报告-双抗ADC基石药物,出海合作新高度.pdf
- 半导体行业市场前景及投资研究报告:消费品以旧换新补贴,AIPC提升.pdf
- 贝特瑞-市场前景及投资研究报告:负极材料,硅碳负极产能,海外生产基地建设,破发.pdf
- 滨江集团-市场前景及投资研究报告:深耕杭州市场,“主动卧倒、匍匐前进”.pdf
- 非银金融行业市场前景及投资研究报告:央行降息,非银板块流动性改善.pdf
- 4.2.2 质量的测量练习教学设计-2023-2024学年浙教版七年级上册科学.docx
- 期末生字专项教学设计2023-2024学年二年级语文下册同步教学(统编版).docx
- 第4单元 单元强化提升2023-2024学年八年级上册历史高效课堂教学设计.docx
- 江苏地区高一年级信息技术一年教案29 多分支语句教案.docx
- 一年级语文上册 第2单元 汉语拼音 7 z c s教案 新人教版.docx
- 七年级语文上册 第六单元 22《寓言四则》杞人忧天教学设计 新人教版.docx
- 八年级英语上册 Unit 3 Our Hobbies Topic 2 What sweet music Section C教案1 (新版)仁爱版.docx
- 江苏省新沂市第二中学-2015学年高一地理 1.2.1 自然环境和人类活动的区域差异教案 鲁教版.docx
- 二年级品德与生活上册 3.3 做个快乐鸟教学设计 新人教版.docx
- 辽宁省本溪满族自治县高级中学高中政治 第一课 神奇的货币-揭开货币的神秘面纱教案1 新人教版必修1.docx
文档评论(0)