DeepSeek与其他大型语言模型的比较.pdf

DeepSeek与其他大型语言模型的比较

高天辰，金家顺，KeZhengTracy,和GabrielMoryoussef*

2025年2月10日

摘要

最近，DeepSeek在人工智能社区内外引起了广泛关注。一个有趣的问题

是DeepSeek与其他大型语言模型(LLMs)相比如何。LLM可以执行许多任务，

在本文中，我们使用通过短文本预测结果的任务进行比较。我们考虑两种设置：

作者身份分类设置和引用分类设置。在第一种设置中，目标是确定一段短文本是

由人类还是AI编写。在第二种设置中，目标是根据文本内容将引用分类为四种类

DeepSeekLLM:ClaudeGemini

型之一。对于每个实验，我们将与4个流行的、、

GPT和Llama进行比较。

我们发现，在分类准确性方面，DeepSeek在大多数情况下优于Gemini、

GPT和Llama,但不如Claude。我们还发现，DeepSeek的速度比其他模型慢，但使

用成本较低，而Claude比所有其他模型都贵得多。最后，我们发现就相似性而言，

DeepSeek的输出最类似于Gemini和Claude(在所有5个LLM中，Claude和Gemini的

输出最为相似)。

在本文中，我们还展示了一个由我们自己收集的完全标注的数据集，并提出了一

种使用LLM和最近的数据集MADStat生成新数据集的方法。本文中的数据集可以用

作未来研究LLM的基准。

AIMADStat,

关键词：引用分类，生成文本检测，提示，文本分析，文本内容。

*联系请使用jiashun@或zke@

1

1引言

在过去两周内，DeepSeek(DS),一个最近的大型语言模型(LLM)(DeepSeek-AI,

2024),震撼了AI行业。自其最新版本于2025年1月20日发布以来，DS登上了新闻和社交

媒体的头条，跃居苹果商店下载量榜首，令投资者震惊，并使包括Nvidia在内的某些科

技股下跌。

使DS如此特别的是它在某些基准任务中实现了与AI行业的巨头(例

如OpenAI的ChatGPT)相同或更好的结果，但训练成本却低得多。例如，

●在Evstafev(2024)中，作者展示了在30个来自MATH数据集(Hendrycksandet

al.,2021)的复杂数学问题上，DeepSeek-R1在这类复杂问题上的准确率超过

了ChatGPT和Gemini等模型。

●2025年1月28日在LinkedIn上的一篇文章中，韩国医学和AI研究员JavierAguirre写

道：“我对Deepseek印象深刻。今天我遇到了一个非常棘手和复杂的(编码)问题。

即使是ChatGPT-ol也无法充分推理来解决它。我试用了Deepseek,它立刻解决了

问题，而且直截了当。”这一观点得到了其他几位AI研究人员的呼应。

更多比较见DeepSeek-AI(2024);Zuoandetal.(2025);Arrietaandetal.(2025)。当然，

一个复杂的LLM有许多方面(例如，基础设施、架构、性能、成本),并且可以完成许

多任务。上述讨论的任务只是LLM能提供的很小一部分。深入全面的比较显然需要大

量时间和努力，但互联网和社交媒体上已经出现了一些有趣的讨论(例如，Ramadhan

(2025))。

我们特别感兴趣的是LLM在预测方面的准确性。尽管关于这一主题的文献很多(参

见例如Friedmanetal.(2001)),使用LLM进行预测仍然有优势：传统方法可能需要相当

LLM