小模型大趋势：AI领域小模型崛起与应用前景.pdfVIP

250｜小模型吃大模型的红利

科技参考3（年度日更）

读者，你好。

欢迎回到《科技参考》，我是

AI的研发从2023年下半年就出现了一个新趋势——小模型，也就是参数

规模在几十亿或者几百亿规模的语言模型更加流行。

而之前一两年的趋势是参数规模尽量大，做到上参数还嫌不够。经过

大约一年时间，各重要厂商的新一代产品纷纷出炉。大家一看，全都比之

前的参数规模要小，有的缩减90%，有的甚至缩减99%。

这期《科技参考》，我们就来看看小模型这个趋势会如何发展。

咱们先梳理一下最重要的几家公司推出的小模型：

首先是OpenAI发布的GPT-4omini。由于GPT-4o和4omini都没有

公布参数规模，业内只是猜测，GPT-4o有1.8参数，4omini大约100

亿左右，只有原版的1/180。

有一个指标很重要，就是OpenAI已经用GPT-4omini替代了之前免费版

的ChatGPT使用的GPT-3.5Turbo，而且端口调用的费用还降低了60%。

4omini在各方面的表现全都大幅领先于3.5Turbo，哪怕和4o比起来，

也大约有8成实力。

然后是Mistra