基于n-gram模型的中文分词算法的研究资料.pdfVIP

福 建 电 脑 U J I A N C O M P U T E R F DOI:10.16707/j.cnki.fjpc.2017.05.059 基于 N-gram 模型的中文分词算法的研究 丁 洁 1， 赵景惠 2 （1 陕西邮电职业技术学院 陕西 咸阳 712000 ； 2 北京交通大学经济管理学院工程管理 1401 班 北京 100044） 【摘 要】本文对中文分词的定义和正向最大匹配法进行了分析和研究，本系统在传统机械分词的基础上加入了优化 技术，基于 N-gram 模型的中文分词算法的效率和正确率都相对较高，最后对中文分词技术进行了一定的展望和提出了 下一步的工作。 【关键字】中文分词；正向最大匹配法；基于 N-gram 模型 0. 引言 从 S1 中删除，此时的 S1=个学时；S1 不为空，从 S1 左边取出 中文分词是将连续的中文字符序列按照某种规则分割成 子字符串 W=个学时；查分词词典，词典中不存在任何一个词 词的序列过程[1] 。 用符号语言表示：对于字符串 An=A1 A2 …Ai 条与 W 完全相同，所以把 W 最右边一个字删除，然后 W=个 …An (Ai 属于中文字符，i ∈［1,n］) ，通过对字符串的分割处理， 学；查分词词典，词典中不存在任何一个词条与 W 完全相同， 输出处理后的字符串 Bm=B1 B2…Bj…Bm (Bj 是词，j ∈［1,m］) 。 所以把 W 最右边一个字删除，然后 W=“个”，这时的W 是一个 上述过程描述的就是典型的中文分词过程。 单字， 把 W 添加到 S2 中， 即 S2=“常微分方程/ 课程/ 有/ 十/ 1. 正向最大匹配算法举例 个/ ，并把 W 从 S1 中删除，此时的 S1=学时；因为 S1 不为 下面是一个应用正向最大匹配算法[2] 的例子： S1=常微分 空，所以从 S1 左边取出子字符串 W=学时；查分词词典，W 在 方程课程有十个学时 ，假设最大词长为 MaxLength = 5 ，S2= 词典中存在， 把 W 添加到 S2 中， 即 S2=“常微分方程/ 课程/ 。 S2 为空；S1 不为空，从 S1 的左边取出长度为 5 的子字符串 有/ 十/ 个/ 学时/ ，并把 W 从 S1 中删除，此时的 S1= 。 S1 W=常微分方程；查分词词典，存在“常微分方程”这一词条，所 为空， S2 即为分词的结果，将 S2 输出，分词的过程到此就完成 以将 W 添加到 S2 中，即 S2=“常微分方程/ ”，并把 W 从 S1 中 了。 正向最大匹配法的缺点是在分词过程中遇到的歧义的问 删除，此时的 S1=课程有十个学时 ；因为 S1 不为空，所以从 题，单单依靠正向最大匹配法无法正确识别。 S1 左边取出长度为 5 的子字符串 W=课程有十个；查分词词 2. 基于 N-gram 模型的中文分词算法 典，词典中不存在任何一个词条与 W 完全相同，所以把 W 最右 假设第 n 个词的出现只与前面 n-1 个词相关，而与其它任 边的一个字删除，然后 W=课程有十 ；查分词词典，词典中不 何词都不相关，整句的概率就是各个词出现概率的乘积。 存在任何一个词条与 W 完全相同， 所以把 W 最右边的一个字 S 是一个句子，假设 S 是由词序列 W1,W2,W3, …Wn 组成 删除，然后 W=课程有 ；查分词词典，词典中不存在任何一个 的，那么 P(S)=P(W1W2W3 …Wn) 词条与 W 完全相同，所以把 W 最右边一个字删除，然后 W= =P(W1)P(W2|W1)P(