知识表示与处理（2025-第15次课 大语言模型技术前沿I）.pdfVIP

扩展定律（Scalinglaw）

Ø扩展定律（ScalingLaws）是大语言模型（LLM）发展中最具指导意义的经验规律

之一，它揭示了模型性能如何随计算资源、数据量和模型规模的变化而系统性提升。

《ScalingLawsforNeuralLanguageModels》（OpenAI，2020）

•在标准自回归语言建模任务中，测试损失L（衡量模型预测准确性的指标）与模型

参数量N（Parameters）、训练数据量D（Tokens）、计算量C（FLOPs，C∝N·D

）三个因素呈幂律关系（PowerLaw）：

其中，A,B,α,β：任务相关的常数

p存在最优计算分配：给定总计算预算C，存在最优的N∗和D∗使得损失最小

p数据量不足会严重限制大模型潜力

p，即计算量每增加10倍，损失下降约15%

大语言模型（LLM）

大语言模型（LLM）

AbriefillustrationforthetechnicalevolutionofGPT-seriesmodels.

Atimelineofexistinglargelanguage

models(havingasizelargerthan10B)

inrecentyears.

TheapplicationsofLLMs

TheapplicationsofLLMsinrepresentativeresearchdirectionsanddownstreamdomains.

LLM的定义

大语言模型（LargeLanguageModel,LLM）是指在海量无标注文本数据上进行训

练得到的大型预训练语言模型。

从任务解决能力的角度看，语言模型（LM）四代演进过程。

大语言模型（LargeLanguageModels,LLMs），是当前人工智能发展的核心驱动

力。它们之所以被称为“大”，不仅因为参数量庞大，更因为其展现出的通用性、涌

现能力与任务泛化性。

LLM的特点

规模宏大（Scale）

•参数量大：通常≥10亿（Billion）参数，主流模型如：

•训练数据海量：训练语料达TB级别，涵盖网页、书籍、代码、百科、论坛等（如

Llama3使用超15万亿tokens）。

•计算资源密集：训练需数千GPU日（如GPT-3训练成本约460万美元）。

•Llama3-70B（700亿）

•GPT-3（1750亿）

•混合专家模型（如Mixtral、Qwen-Max

）等效参数可达数千亿。

LLM的特点

通用性强（General-Purpose）

•单一模型，多任务胜任：无需为每个任务单独训练模型。