第三章统计语言模型
3.1概述
3.2N-gram模型
3.3平滑技术
3.3.1加一平滑
1.3.2其他平滑
目录
语言模型(LanguageModel,LM):一种用于计算词序列(如:短语、句子、段落等)概率分布的模型。模型用于评估词序列的合理性。3.1概述例?思考:哪个句子更像一个合理的句子?如何量化估计这句话的“合理程度”?
3.1概述统计语言模型(StatisticLanguageModel,SLM):通过大规模文本数据的统计分析来描述词语、语句甚至整个文档的概率分布,用于评估句子或词序列是否符合自然语言的规范。1.主要内容:利用大
您可能关注的文档
- 配电网自动化技术课件 第9、10章 配电网高级应用软件、配电网自动化规划 .ppt
- 配电网自动化技术—课件 第5--9章 电力用户用电信息采集终端---配电网高级应用软件 .ppt
- 配电网自动化技术—课件 第1--4章 概述、配电网及一次设备、配电网自动化数据通信、配电网馈线监控终端 .ppt
- 自然语言处理:大模型理论与实践 课件 chapter-13 探讨.pptx
- 自然语言处理:大模型理论与实践 课件 第8章 大模型预训练.pptx
- 自然语言处理:大模型理论与实践 课件 第二章 词向量.pptx
- 自然语言处理:大模型理论与实践 课件 第九章 大模型微调.pptx
- 自然语言处理:大模型理论与实践 课件 第六章 大语言模型架构.pptx
- 自然语言处理:大模型理论与实践 课件 第七章 多模态大模型架构.pptx
- 自然语言处理:大模型理论与实践 课件 第十二章 评价指标.pptx
- 3-稳定币投资的实用决策指南2026_持有、生息与合规准入.docx
- 4-碳市场研究系列报告 _CBAM的抵扣幻觉:中国出口企业实际碳成本敞口被高估了吗?.docx
- 4-稳定币实操手册:从第一笔买入到体系化管理(2026).docx
- 1-碳信用购买实战手册:VCM机制分类、质量判读与避坑指南.docx
- 1-剥离现金还是利用现金—持币集中度作为尾部对冲的替代与增强.docx
- 2-碳市场研究系列报告_倒挂的常态:CCER供给刚性下的双市场交易结构与套利边界.docx
- 3-中国碳排放配额CEA投资指南:刚性配额的定价权、盈缺分化与制度边界.docx
- 7-非主流消费的产业化临界点:拼豆、匹克球与音乐剧的赛道比较与投资筛选题.docx
- 5-全国碳排放权交易CEA实操手册:从入门到提高(2026).docx
- 在XX镇2026年农村党员教育培训班开班式上的讲话.doc
原创力文档

文档评论(0)