中文自然语言处理技术名54课件.pptxVIP

中文自然语言处理技术课程名人工智能专业

统计语言模型是描述自然语言内在规律的数学模型，其原理为判断一个句子在文本中出现的概率，是用于计算一个语句序列概率的概率模型。项目引入

第四章

中文分词技术实现新闻高频词目录CONTENTS任务介绍4.1统计分词分析新闻高频词4.2应用jieba库分析新闻高频词4.3

设S为一连串特定顺序排列的词序列S=??_1,??_2,…,??_??，S的概率记为p(??_1,??_2,…,??_??)。利用条件概率公式得到如下所示的统计语言模型。其中ω^i?1表示词序列ω_1,ω_2,…,ω_i?1。4.2.1n元语法模型

1.n-gram模型4