OPPO 多模态大模型端侧化应用实践.pptx

演讲人:宋晓辉

珍贵的内存

终端设备内存有限,算法效果需要一定程度上向模型体积和推理精度妥协,因此如何设计和优化端侧模型压缩算法,利用有限的内存占用获得最佳的算法效

果,为用户提供流畅、好用的端侧AI功能,是端侧化算法持续追求的目标之一。

有限的电量

为用户提供端侧AI能力的同时,也不能成为“电老

虎”,不能制造续航焦虑,持续的下探端侧AI的能耗水平,需要端侧算法、工程和芯片团队的共同努力。

较高的OTA成本

端侧模型体积大,不能高频OTA更新,同时缺乏运营日志,难以敏捷迭代修复问题。因此端侧业务的交付,需要在算法质量,稳定性,性能功耗热等多

文档评论(0)

1亿VIP精品文档

相关文档