模型蒸馏:小模型如何学习大模型知识.pdf

模型蒸馏:小模型如何学习大模型知识.pdf

讲讲故事

青出于蓝而胜于蓝,咱们的故事可以别那么大,出于蓝而近似蓝就好了

看起来有点像本是同根生(没有相煎),那故事的主人公就得是俩模型了

很强,很弱,那咱们是不是得让向学习,看看人家咋学的

但是同时也不能只向学,也得学学(也可能出错)

何为蒸馏

现在谁家不整个大模型,条件好了吃喝都不差钱了,大模型一般都效果好

但是应用可能点,费资源,可能下游任务设备一般般,那咋整

那你就用小一点的模型呗,比如resnet152用不了那咱们就用resnet

文档评论(0)

1亿VIP精品文档

相关文档