DeepSeek与其他大型语言模型的比较.docx

1

DeepSeek与其他大型语言模型的比较

高天辰，金家顺，KeZhengTracy,和GabrielMoryoussef*

2025年2月10日

摘要

最近，DeepSeek在人工智能社区内外引起了广泛关注。一个有趣的问题是DeepSeek与其他大型语言模型(LLMs)相比如何。LLM可以执行许多任务，在本文中，我们使用通过短文本预测结果的任务进行比较。我们考虑两种设置：作者身份分类设置和引用分类设置。在第一种设置中，目标是确定一段短文本是由人类还是AI编写。在第二种设置中，目标是根据文本内容将引用分类为四种类型之一。对于每个实验，我们将DeepSeek与4个流行的LLM:Claude、Gemini、

GPT和Llama进行比较。

我们发现，在分类准确性方面，DeepSeek在大多数情况下优于Gemini、GPT和Llama,但不如Claude。我们还发现，DeepSeek的速度比其他模型慢，但使用成本较低，而Claude比所有其他模型都贵得多。最后，我们发现就相似性而言，DeepSeek的输出最类似于Gemini和Claude(在所有5个LLM中，Claude和Gemini的输出最为相似)。

在本文中，我们还展示了一个由我们自己收集的完全标注的数据集，并提出了一种使用LLM和最近的数据集MADStat生成新数据集的方法。本文中的数据集可以用作未来研究LLM的基准。

关键词：引用分类，AI生成文本检测，MADStat,提示，文本分析，文本内容。

*联系请使用jiashun@或zke@

2

1引言

在过去两周内，DeepSeek(DS),一个最近的大型语言模型(LLM)(DeepSeek-AI,2024),震撼了AI行业。自其最新版本于2025年1月20日发布以来，DS登上了新闻和社交媒体的头条，跃居苹果商店下载量榜首，令投资者震惊，并使包括Nvidia在内的某些科技股下跌。

使DS如此特别的是它在某些基准任务中实现了与AI行业的巨头(例如OpenAI的ChatGPT)相同或更好的结果，但训练成本却低得多。例如，

●在Evstafev(2024)中，作者展示了在30个来自MATH数据集(Hendrycksandetal.,2021)的复杂数学问题上，DeepSeek-R1在这类复杂问题上的准确率超过了ChatGPT和Gemini等模型。

●2025年1月28日在LinkedIn上的一篇文章中，韩国医学和AI研究员JavierAguirre写道：“我对Deepseek印象深刻。今天我遇到了一个非常棘手和复杂的(编码)问题。即使是ChatGPT-ol也无法充分推理来解决它。我试用了Deepseek,它立刻解决了问题，而且直截了当。”这一观点得到了其他几位AI研究人员的呼应。

更多比较见DeepSeek-AI(2024);Zuoandetal.(2025);Arrietaandetal.(2025)。当然，一个复杂的LLM有许多方面(例如，基础设施、架构、性能、成本),并且可以完成许多任务。上述讨论的任务只是LLM能提供的很小一部分。深入全面的比较显然需要大量时间和努力，但互联网和社交媒体上已经出现了一些有趣的讨论(例如，Ramadhan(2025))。

我们特别感兴趣的是LLM在预测方面的准确性。尽管关于这一主题的文献很多(参见例如Friedmanetal.(2001)),使用LLM进行预测仍然有优势：传统方法可能需要相当大的训练样本，而LLM只需一个提示即可工作。在此基础上，一个主要问题是DS与其他LLM在预测准确性方面的比较。在本文中，我们考虑以下两个分类设置。

●作者身份分类(AC)。确定文档是由人类生成(hum),由AI生成(AI),还是由人类生成但经过AI编辑(humAI)。

●引用分类(CC)。给定一个(学术)引用及其周围的短文本，确定该引用属于哪种类型(见下文的4种引用类型)。

3

对于每种设置，我们将DeepSeek-R1(DS)的分类结果与OpenAI的GPT-4o-mini(GPT),

Google的Gemini-1.5-flash(Gemini),Meta的Llama-3.1-8b(Llama)和Anthropic的

Claude-3.5-sonnet(Claude)这4个代表性LLM进行比较。现在我们将详细讨论这两个设

置