知识表示与处理（2025-第11次课 统计语言模型）.pdfVIP

什么是语言模型？

p“我昨天骑着微波炉去上班，它还给我热了杯咖啡。”

p“请把这份合同用香蕉皮翻译成莎士比亚体。”

p“我的袜子刚刚在冰箱里开了一场哲学研讨会。”

p“我煮了一碗星期二。”

为什么这些句子“不太可能”？

什么是语言模型？

ü语言模型判断一个句子是否“自然”，本质上是在算：“人类

有多大可能说出这句话？”如果概率接近零——那大概率是你

家猫在键盘上蹦迪时打出来的。

什么是语言模型？

语言模型（LanguageModel,LM）是一类用于建模自然语言概率

分布的统计或机器学习模型。其核心目标是预测给定上下文下一个词（

或字符、子词单元）出现的概率。形式上，语言模型试图估计一个词序

列的联合概率：

语言模型广泛应用于机器翻译、文本生成、问答系统、信息检索、语

音识别等领域。

语言模型

统计语言模型（StatisticalLanguageModel,SLM）

•如n-gram模型（bigram、trigram等），基于马尔可夫假设，仅考虑前n−1个词。

•依赖平滑技术处理数据稀疏问题。

神经语言模型（NeuralLanguageModels,NLMs）

•使用神经网络（如RNN、LSTM、GRU）对上下文进行编码，能捕捉更长距离的依赖。

预训练语言模型（PretrainedLanguageModels,PLMs）

•基于Transformer架构，在大规模语料上预训练，再微调用于下游任务。

•自回归模型：如GPT系列，从左到右生成文本。

•自编码模型：如BERT，通过掩码语言建模（MLM）学习双向上下文。

•编码器-解码器模型：如T5、BART，适用于生成与理解任务。

大语言模型（LargeLanguageModels,LLMs）

•参数量巨大（通常数十亿以上），展现出强泛化与推理能力。

•支持上下文学习（in-contextlearning）、指令遵循（instructionfollowing）和思维链

（Chain-of-Thought）推理。

统计语言模型

Ø建模自然语言中词序列的联合概率分布。其核心目标是：给定一个词序列，预测下一

个词出现的概率。

Ø由于完整上下文依赖计算复杂度极高，统计语言模型通常引入马尔可夫假设进行简化

•假设一个词的出现只依赖于前k个词，即：

Øn-gram模型（n=k）：

•Unigram(1-gram)无上下文依赖

•Bigram(2-gram)：依赖前1个词

•Trigram(3-gram)：依赖前2个词

统计语言模型

Ø概率估计：最大似然估计（MLE）

其中C(·)表示词（或词对）在语料中出现的次数。

统计语言模型

Ø例

假设我们有以下4个句子（已分词，并加上句首s和句尾/s标记）：

1.s我爱猫/s

2.s我养猫/s

3.s他爱狗/s

4.s猫吃