知识表示与处理（2025-第12次课 神经语言模型）.pdfVIP

如何让机器理解人类语言？

神经语言模型（NeuralLanguageModels,NLMs）是一类使用神经网络来建

模自然语言概率分布的模型。其核心目标是根据上下文预测下一个词（或字符、

子词单元）的概率，从而捕捉语言的统计规律和语义结构。

其中，f是神经网络函数

主要发展阶段

1.早期NLMs（2003–2010）

◦Bengio等人（2003）提出使用前馈神经网络进行语言建模，引入词嵌入概念。

◦克服了传统n-gram模型的数据稀疏问题。

2.基于RNN/LSTM的模型（2010–2017）

◦利用循环结构处理变长序列，更好地捕捉长距离依赖。

◦Mikolov的RNNLM和LSTMLM是代表性工作。

3.预训练语言模型时代（2018–至今）

◦ELMo（2018）：基于双向LSTM，引入上下文敏感的词表示。

◦GPT系列：基于Transformer解码器，采用自回归语言建模。

◦BERT：基于Transformer编码器，采用掩码语言建模（MLM）和下一句预测（NSP）

◦后续如RoBERTa、T5、LLaMA、ChatGPT等不断扩展模型规模与训练策略。

现代神经语言模型的奠基之作

•YoshuaBengio,RéjeanDucharme,PascalVincent,and

ChristianJanvin.2003.Aneuralprobabilisticlanguagemodel.

J.Mach.Learn.Res.3,(3/1/2003),1137–1155.

•YoshuaBengio,RéjeanDucharme,PascalVincent,andChristianJanvin.2003.Aneuralprobabilistic

languagemodel.J.Mach.Learn.Res.3,(3/1/2003),1137–1155.

“Agoalofstatisticallanguagemodelingistolearnthejointprobabilityfunctionofsequencesof

wordsinalanguage.Thisisintrinsicallydifficultbecauseofthecurseofdimensionality:aword

sequenceonwhichthemodelwillbetestedislikelytobedifferentfromallthewordsequences

seenduringtraining.”

统计语言建模的目标是学习一种语言中词序列的联合概率函数。这本质上非常困难，因为

存在“维度灾难”问题：模型在测试时遇到的词序列，很可能与训练期间见过的所有词序列

都不同。

✅目标定义：统计语言建模的目标是学习一个语言中词序列的联合概率分布，进而可推导

出条件概率P(w|w)用于预测下一个词。

tt

✅核心挑战——维度灾难：

•词表大小通常为数万至数十万；

5

•所有可能的n-gram组合呈指数增长（如5-gram的组合数可达|V|）；

•几乎所有测试序列在训练集中都未出现过→传统n-gram模型面临严重数据稀疏问题。

•YoshuaBengio,RéjeanDucharme,PascalVincent,and