- 1、本文档共12页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
内容目录
TOC\o1-3\h\z\u端侧AI在手机场景中如何落地? 4
如何理解端侧AI对云端算力的依赖? 5
端侧运行AI优势明显,AI处理持续向端侧转移 5
受限于算力制约,端侧AI仍需依赖云端算力 6
高通、联发科发布旗舰SoC,端侧AI算力不断增强 6
云端、端侧算力仍存在差距,复杂场景下云端大模型更为适宜 7
如何测算手机AI算力需求? 9
累计AI手机用户数如何定义? 9
AI手机文本推理需求与端侧模型、端侧硬件的关系 10
单日单机算力需求(文本)测算 11
未来展望 12
风险提示 13
图表目录
图1:苹果AI功能的应用情况 4
图2:WritingTools功能介绍 5
图3:端侧运行AI的五大优势 5
图4:AI处理的重心向端侧转移 6
图5:生成式AI模型持续从云端分流到终端运行 6
图6:主流手机SoC性能梳理 7
图7:端侧、云端算力需求的差距 8
图8:大模型性能总排行榜(2024年12月) 8
图9:10B小模型性能排行榜(2024年12月) 9
图10:全球智能手机出货量及预测 9
图11:AI手机渗透率情况 10
图12:全球智能手机价格带情况 10
图13:文本大模型网站访问量周度数据(单位:万次) 11
图14:文本大模型网站访问量周度数据(单位:万次) 11
图15:豆包大模型2024年日均tokens使用量 11
图16:2024/10-12月豆包大模型各应用场景调用量 11
图17:手机AI算力需求(文本)测算 12
端侧AI在手机场景中如何落地?
苹果引领AI手机市场,端云混合推动AI落地。2024年6月,苹果在WWDC24上正式公布了AppleIntelligence(苹果AI),推出了一系列AI功能:(1)Siri升级:Siri实现了更丰富的语言理解能力和个人情境的感知能力,支持跨APP操作、语义索引、直接键入等功能。(2)文字处理:苹果AI推出了系统级写作工具,支持用户在邮件、备忘录、Pages等第三方应用中,实现校对、重写、调整措辞语气等功能;在文字汇总方面,实现了快速提取录音、邮件的摘要;此外,还能够帮助用户自动管理消息通知。(3)图像生成:苹果AI实现了ImagePlayground文生图、Genmoji表情、Imagewand优化草图、自定义记忆影片和消除图片干扰等功能。值得注意的是,上述功能大多直接通过端侧运行,云端用于弥补端侧算力的不足。苹果AI中使用了两种基础大语言模型:一个约30亿参数,用于设备端运行的AFM-on-device;一个更大型的,基于服务器的AFM-
server。在用户发出指令后,苹果AI会分析用户发出的请求,如果用户需要使用的模型已经超出了端侧AI的能力上限,这时云端AI才会介入。此外,苹果在近日新上线的IOS18.2Beta1中,已经实现接入OpenAI,将ChatGPT集成到Siri和写作工具中,用户可以切换使用GPT-4o以调用性能更强的云端模型。
图1:苹果AI功能的应用情况
数据来源:苹果,
在这里,我们重点介绍WritingTools(写作工具)的一些功能。包括校对文本、重
写不同版本,使得语气措辞恰到好处;并支持对文本进行总结、关键点提取、图表制作、分点总结的功能。根据我们的测评发现,除了Summary、KeyPoints、Table、List这四个较为复杂的功能仅支持接入网络的场景下使用,其他WritingTools功能均可以在无网
络的场景下直接使用。
图2:WritingTools功能介绍
数据来源:苹果,差评X.PIN,
如何理解端侧AI对云端算力的依赖?
端侧运行AI优势明显,AI处理持续向端侧转移
端侧运行AI模型,具有成本、能耗、性能、隐私和安全、个性化五大优势。
图3:端侧运行AI的五大优势
数据来源:高通,
考虑到端侧运行AI具有明显优势,越来越多的生成式AI模型从云端分流到终端运行。事实上,在生成式AI出现之前,AI处理便持续向端侧转移,越来越多的AI推理工作在手机、笔记本电脑、XR头显、汽车等边缘终端上运行。例如,手机利用端侧
AI支持许多日常功能,比如暗光拍摄、降噪和人脸解锁。随着生成式AI模型的缩小,终端算力的提升,能在终端运行的生成式AI模型更加多样。如今,具备AI功能的手机、PC和其他品类的便携终端数量已
文档评论(0)