自然语言处理:大模型理论与实践 课件 第三章 统计语言模型.pptx

自然语言处理:大模型理论与实践 课件 第三章 统计语言模型.pptx

第三章统计语言模型

3.1概述

3.2N-gram模型

3.3平滑技术

3.3.1加一平滑

1.3.2其他平滑

目录

语言模型(LanguageModel,LM):一种用于计算词序列(如:短语、句子、段落等)概率分布的模型。模型用于评估词序列的合理性。3.1概述例?思考:哪个句子更像一个合理的句子?如何量化估计这句话的“合理程度”?

3.1概述统计语言模型(StatisticLanguageModel,SLM):通过大规模文本数据的统计分析来描述词语、语句甚至整个文档的概率分布,用于评估句子或词序列是否符合自然语言的规范。1.主要内容:利用大

您可能关注的文档

文档评论(0)

1亿VIP精品文档

相关文档