OPPO 多模态大模型端侧化应用实践.docx

演讲人:宋晓辉

01端侧化算法技术概览

02模型稀疏化压缩

03量化感知训练

04编解码加速

05落地实践

06总结和展望

有限的电量为用户提供端侧AI能力的同时,也不能成为“

有限的电量

为用户提供端侧AI能力的同时,也不能成为“电老

虎”,不能制造续航焦虑,持续的下探端侧AI的能耗水平,需要端侧算法、工程和芯片团队的共同努力。

终端设备内存有限,算法效果需要一定程度上向模型体积和推理精度妥协,因此如何设计和优化端侧模型压缩算法,利用有限的内存占用获得最佳的算法效果,为用户提供流畅、好用的端侧AI功能

文档评论(0)

1亿VIP精品文档

相关文档