原创力文档- 1、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
- 2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 4、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 5、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 6、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 7、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
混合AI是AI的
未来
第一部分：
终端侧AI和混合AI
开启生成式AI的未来
1
目录
1摘要3
2生成式AI简介和当前趋势4
3混合AI对生成式AI规模化扩展至关重要5
3.1什么是混合AI？6
3.2混合AI的优势6
3.2.1成本6
3.2.2能耗6
3.2.3可靠性、性能和时延7
3.2.4隐私和安全7
3.2.5个性化7
3.3AI工作负载的分布式处理机制8
3.3.1以终端为中心的混合AI8
3.3.2基于终端感知的混合AI9
3.3.3终端与云端协同处理的混合AI10
4终端侧AI的演进与生成式AI的需求密切相关11
4.1终端侧处理能够支持多样化的生成式AI模型11
5跨终端品类的生成式AI关键用例12
5.1智能手机：搜索和数字助手12
5.2笔记本电脑和PC：生产力13
5.3汽车：数字助手和自动驾驶13
5.4XR：3D内容创作和沉浸式体验14
5.5物联网：运营效率和客户支持16
6总结17
2
1摘要
混合AI是AI的未来。随着生成式AI正以前所未有的速度发展1以及计算需
求的日益增长2，AI处理必须分布在云端和终端进行，才能实现AI的规模化
扩展并发挥其最大潜能——正如传统计算从大型主机和瘦客户端演变为当前
云端和边缘终端相结合的模式。与仅在云端进行处理不同，混合AI架构在
云端和边缘终端之间分配并协调AI工作负载。云端和边缘终端如智能手机、
汽车、个人电脑和物联网终端协同工作，能够实现更强大、更高效且高度优
化的AI。
节省成本是主要推动因素。举例来说，据估计，每一次基于生成式AI的网络搜索查询（query），
其成本是传统搜索的10倍3，而这只是众多生成式AI的应用之一。混合AI将支持生成式AI开发
者和提供商利用边缘终端的计算能力降低成本。混合AI架构或终端侧AI能够在全球范围带来高
性能、个性化、隐私和安全等优势。
混合AI架构可以根据模型和查询需求的复杂度等因素，选择不同方式在云端和终端侧之间分配处
理负载。例如，如果模型大小、提示（prompt）和生成长度小于某个限定值，并且能够提供可接
受的精确度，推理即可完全在终端
文档评论（0）