演讲人:宋晓辉
珍贵的内存
终端设备内存有限,算法效果需要一定程度上向模型体积和推理精度妥协,因此如何设计和优化端侧模型压缩算法,利用有限的内存占用获得最佳的算法效
果,为用户提供流畅、好用的端侧AI功能,是端侧化算法持续追求的目标之一。
有限的电量
为用户提供端侧AI能力的同时,也不能成为“电老
虎”,不能制造续航焦虑,持续的下探端侧AI的能耗水平,需要端侧算法、工程和芯片团队的共同努力。
较高的OTA成本
端侧模型体积大,不能高频OTA更新,同时缺乏运营日志,难以敏捷迭代修复问题。因此端侧业务的交付,需要在算法质量,稳定性,性能功耗热等多
您可能关注的文档
- 2026+趋势展望:以人为本的职场力量+Trends+and+Predictions:The+Power+of+the+Human-centered+Workplace.docx
- josiny品牌手册的介绍.docx
- AI大模型评测能力建设及实践.pptx
- ieval:大模型评测系统建设和应用.pptx
- InfiniSynapse:开拓大模型的第二个杀手级应用场景.pptx
- MegatronApp:面向万亿参数大模型的训练与推理增强实践.pptx
- mPLUG-多模态对话大模型技术与应用解析.pptx
- OPPO数据湖加速大模型训练.pptx
- TimeHF:供应链时序大模型的工业革新.pptx
- 快消零售牙膏品牌抖音达人投放策划方案【电商】【抖音营销】【投放】.pptx
原创力文档

文档评论(0)