《大语言模型原理》课件-第5章：语言模型.pptxVIP

大语言模型原理课件-第5章：语言模型汇报人：XXX2026-10-16

语言模型背景介绍核心理论：统计与神经语言模型模型训练与优化方法实证数据与经典案例模型评估与局限性结论与未来展望目录CATALOGUE

语言模型背景介绍01PART

语言模型的早期演进与局限马尔可夫链和n-gram模型依赖固定且有限的上下文窗口进行预测，难以捕捉文本中相隔较远的长距离依赖关系。早期语言模型依赖手工编写语法规则，处理能力极其有限且难以扩展，无法应对复杂多变的真实语言环境。随着n取值增大，模型参数空间呈指数级增长，导致很多合理的词组合在训练语料中未出现，引发严重的数据稀疏。早期统计模型仅基于词频进行表面概率计算，无法深入理解语言的内在语义和上下文逻辑，限制了复杂任务表现。规则驱动局限固定上下文窗口数据稀疏问题缺乏语义理解

概率预测机制基于已有观察到的词频模式，通过统计历史序列中词语出现的频率来计算概率，从而预测当前最可能出现的词。马尔可夫假设假设当前词的出现概率仅与前面有限个词相关，将复杂的语言序列预测简化为局部上下文的条件概率计算。表面结构生成通过概率计算能够生成在表面结构上类似人类语言的文本，在高度可预测的局部语境中具备一定的文本生成能力。任务适用边界在受限领域的特定任务中表现尚可，但无法扩展到机器翻译、问答系统等需要深层语义理解的现代处理需求。统计语言模型的核心思想

神经网络语言模型的兴起词向量