原创力文档- 1、本文档共6页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
WhitePaper
DecentralizingGenerativeAI
(GenAI)Inference
On-DeviceDeploymentofLightweightOpenSourceGenAIModels,Including
LargeLanguageModels(LLMs),CanImproveAccessibilityandLatency
AuthorAbstract
BharathG.SrivatsBringingAIinferenceclosertothedatasourceofferssignificantadvantages
ProductMarketingEngineerincost,privacyandperformance.RecentadvancementsinlightweightGenAI
models(i.e.,1-8Bparameters)provideadisruptiveopportunitytoshiftGenAI
Creditsdeploymentfromthecloudtotheedge,butalternativestocloud-basedGenAI
needtobepracticalandefficient.Thiswhitepaperoutlinesastrategicapproach
SanjayAddicam
toshiftGenAIdeploymentsfromcloud-native(i.e.,GPUbased)solutionstoedge
IliaEfimov
(i.e.,hardwarebased)solutionsusingthebuilt-incomputeaccelerationofCPU-
PinkeshShahGPU-NPU(e.g.,Intel®Core™Ultraprocessors,Intel®Arc™GPUs)andopen
BalajiSrinivasansourceGenAImodels.On-devicedeploymentofferslowtotalcostofownership
MichaelCampbell(TCO),offlinecapabilities,datasovereigntyandreducedlatency,makingpowerful
HelenaKloostermanGenAImodelsaccessibleacrossregionsandsectorsthatmaypreviouslyhave
facedbarrierstodeployment.
MichaelHansen
Introduction
TableofContents
您可能关注的文档
- MSI微星机箱&配件 MPG GUNGNIR 300 MONSTER HUNTER EDITION产品手册用户手册(语言 English).pdf
- KOHLER科勒Purewash E860 清舒宝智能便盖安装说明书.pdf
- ABB PLC AC300 PLC IO Expansion DI361 quick start guide 手册(英语)说明书.pdf
- Haier海尔大1匹壁挂式变频空调 KFR-26GW T200-1说明书用户手册.pdf
- Lenovo ThinkAgile HX665 V3 Systems Integrated with Nutanix Software- Deliver Scalable Performance for Oracle 21C Databases技术文档用户手册.pdf
- Siemens西门子工业SIMATIC PCS 7 PCS 7 Basis Library 自述文件 V10.0 SP1（在线） SIMATIC PCS 7 PCS 7 Basis Library 自述文件 V10.0 SP1（在线）使用手册.pdf
- Carrier开利Remote Air-Cooled Condenser 09RC 09RCM, 09RCS Guide Specifications, 20 to 230 Nominal Tons (70 to 809 Nominal kW)说明书用户手册.doc
- Siemens西门子工业SIMATIC PCS 7 过程控制系统 PCS 7 自述文件 V10.0 SP1（在线） SIMATIC PCS 7 过程控制系统 PCS 7 自述文件 V10.0 SP1（在线）使用手册.pdf
- ABB Emergency safety information for robots 手册(英语)说明书.pdf
- Haier海尔416升风冷变频多门冰箱 BCD-416WGHFDB9WVU1说明书用户手册.pdf
- Haier海尔1.5匹壁挂式变频空调 KFR-35GW W200-1说明书用户手册.pdf
- Medeli美得理UP105 电钢琴用户手册.pdf
- ABB PLC AC300 PLC IO Expansion DO361 quick start guide 手册(英语)说明书.pdf
- Hisense海信容声冰箱BCD-556WD16HPA用户手册说明书.pdf
- ABB PLC AC300 PLC IO Expansion AX361 quick start guide 手册(英语)说明书.pdf
- Siemens西门子工业Rotary-type actuator Drehantrieb GIB.1E, GBB.1E Rotary-type actuator Drehantrieb GIB.1E, GBB.1E使用手册.pdf
- Philips 飞利浦Fast IPS Gaming monitor 全高清游戏显示器 25M3N3240P 69产品支持与说明书 .pdf
- 智云数码稳定器ZHIYUN CINEPEER CX50 COB Light Guide de l’utilisateur说明书用户手册(语言：Français).pdf
- ABB CP300 Control Panel IO Expansion HIO3411 quick start guide 手册(英语)说明书.pdf
- Miele美诺灶具烹饪JZT-KM3736 C用户使用安装说明书.pdf
文档评论（0）