基于最大概率分词算法的中文分词方法研究.pdfVIP

科技信矗 OIT论坛o 2010年第21期 基于最大概率分词算法的中文分词方法研究 丁洁 《陕西邮电职业技术学院计算机系 陕西咸阳712000) 【捕要】本文提出了一种基于最大概率分词算法的中文分词方法，以实例贯穿全文系统描述了最大概率分词算法的基本思想与实现，椎 据针对失规模真实语耕库的对比沸3试，分词运行效率有较大提高，该方法是行之有效的，并且提出了该算法的改进方向。 【关键词】中文分词；最大概率分词；左邻词 分词是将连续的字序列按照一定的规范重新组合成词序列的过 率最大的候选词称为最佳左邻词。比如候选词“意见”只有一个左邻词 程。把中文的汉字序列切分成有意义的词，就是中文分词。中文只是 “有”，因此，“有”同时也就是“意见”的最佳左邻词；候选词“分歧”有两 字、句和段可以通过明礁的分界符来简单划界，唯独词没有一个形式 个左邻词“意见”和“见”，其中“意见”的累计概率大于“见”累计概率， 上的分界符，词是最小的、能独立话动的、有意义的语言成分。计算机 因此“意见”是“分歧”的最佳左邻词 的所有语言知识都来自机器词典(给出词的各项信息)、句法规则(以词 最大概率分词算法： 类的各种组合方式来描述词的聚合现象)以及有关词和句子的语义、 1)对一个待分词的字串S，按照从左到右的顺序取出全部候选词 语境、语用知识库。中文信息处理系统只要涉及句法、语义往日检索．翻 wl，w2，…,wi，…，wII； 译、文摘、校对等应用)，是以词为基本单位的。所以当同样面对短语的 2)到词典中查出每个候选词的概率值P(wi)，并记录每个候选词 划分问题时．在词这一层面上．中文就要复杂得多。 的全部左邻词： 输入含有若‘F个汉字的待处理字符串Cn=C1C2…Ci．．·Cn(ci为3)按照公式1计算每个候选词的累计概率，同时比较得到每个候 选词的最佳左邻词： 汉字，iE【1，n】)，通过机器的分析处理，输出词串SIn=S1s2…sj…sm(sj 为词，jE【1，m】)，以上过程清晰地反映了中文分词的过程。 4)如果当前词帅是字串S的尾词，且累计概率P7m)最大，则 中文分词的应用相当广泛，在使用中我们经常会遇到一些困惑。 帅就是S的终点词： 比如信息检索，如果不切词，而是按字检索的话，当检索“和平”时会出 5)从wn开始，按照从右到左顺序，依次将每个词的最佳左邻词输 现“幸福和平安”的榆索结果，如果要榆索“为人”，町能映人你眼帘的 出，即S的分词结果。 是“为人民服务”的信息。这样的例子还有不少．我们不难发现词汇分 最大概率分词算法示例： 析是自然语言处理应用系统的基础，并且从字符串到词串是一个降低 1)对“有意见分歧”．从左到右进行一遍扫描，得到全部候选词： 不确定性的过程。 “有”。“有意”，“意见”，“见”，“分歧”； 同样，从字符串到词串还存在着不确定因素。例如。。学生会举办 2)对每个候选词，记录下它的概率值，并将累计概率赋初值为0； 网页制作比赛”。切分后可出现两种结果。第一种，。学生会举办网 3)顺次计算各个候选词的累计概率值，同时记录每个候选词的最 页制作比赛”；第二种，“学生会举办网页制作比赛”。分词以后 佳左邻词： 在词的层面上进行处理，处理的确定性就大大提高了。在更高一级的 P，(有)=P(有)， 文本处理中，包括句法分析、语句理解、自动文摘、自动分类、自动校对 P，(有意)=P(有意)， 和机器翻译等，词的详细信息起到更为重要的作用。 P‘(意见)=P’(有)×P(意见)，(“意见”的最佳左邻词为“有”) 本文提出了一种基于最大概率分词算法的中文分词方法。根据针 P‘(见)=P’(有意)×P(见)，(“见”的最佳左邻词为“有意”) 对大规模真实语料库的对比测试。分词运行效率有较大提高。该方法 跗意见)P1见) 是行之有效的。下面将系统描述最大慨率分词算法的基