大型语言模型（LLMs）简史.pdfVIP

大型语言模型(LLMs)简史

从Transformers(2017年)到DeepSeek-R1(2025年)

原文：ABriefHistoryofLLMs,2025年2月11日，

/@lmpo/a-brief-history-of-Imms-from-transformers-2017-to-deepseek-r1-2

025-dae75dd3f59a

原作者：LMPo,一位科技专栏作家

编译者：唐隆基博士

编译者注：本文是经过编译的《大语言模型(LMMs)发展简史(2017~2025)》。尽管在第一篇文

章《人工智能深度学习简史(1956~2024)》中也简述了LLMs的简史，但这篇文章介绍了中

国的大语言模型的后起之秀DeepSeek,并且视其为大语言模型发展史上的新的里程碑，值

得关注。

2025年初，中国推出突破性且经济高效的大型语言模型(LLM)DeepSeek-R1,引发了人工

智能的巨变。本文追溯了LLM的演变历程，始于2017年革命性的Transformer架构，该架

构通过自注意力机制重塑了自然语言处理(NLP)。到2018年，首批基于Transformer的两款

LLM——GPT和BERT——相继发布，显著增强了语境理解和文本生成能力，为未来的创新奠

定了坚实的基础。2020年，拥有1750亿个参数的GPT-3展现了卓越的少样本和零样本学习

能力。然而，“幻觉”问题——即生成与事实不符的内容——成为了关键挑战。2022年，OpenAl

通过采用“监督微调”(SFT)和“基于人类反馈的强化学习”(RLHF)技术来应对这一挑战，

并由此开发了对话模型ChatGPT。这一突破引发了全球对人工智能的广泛关注。到2023年

和2024年，GPT-4和GPT-40等多模态模型将不断发展，无缝集成文本、图像和音频处理，

使其能够展现出更接近人类的能力，例如“听”、“说”和“看”。与此同时，OpenAI的o1

和DeepSeek的R1推进了复杂推理能力，使大型语言模型(LLM)更接近类人“系统2思维”。

此外，DeepSeek-R1模型的超高成本效率和开源设计挑战了人工智能规范，使高级大型语言

模型(LLM)的获取更加民主化，并推动了各行各业的创新。下图描述了大型语言模型(LLMs)

发展的时间线。

ABriefHistoryofLLMs

201720182019202020222024202420242025

JUNJUNOCTFEBOCTMAYSEPMARNOVFEBMARMARAPRDECJAN

一

GPTT5FLANLLaMA-3.1

LLaMA

405B

BERTGPT-3.5OpenAl-01

GPT-4

GPT-2InstrutGPTDcepSeck-V3

GPT-4o

TransformersGPT-3ChatGPTDeepSeek-R1

1

1.什么是语言模型(LM)?

语言模型(LM)是人工智能(Al)系