一种自动分词算法的研究与应用.docxVIP

一种自动分词算法的研究与应用 中国的自动分词研究可以追溯到20世纪50年代末的俄罗斯汉语翻译机的开发阶段。目前中文自动分词方法至少有十几种,其中最常见的有:正向最大匹配法、反向最大匹配法、双向最大匹配法、设立切分标志法、最佳匹配法以及字符串分词加歧义校正法和知识分词方法等。这些方法虽然名称各异,分词速度也不尽相同,但从本质上可将它们归为两类:一类是基于词典的字符串分词方法;一类是基于规则的分词方法。 1 中国常见的分词方法 现有的分词算法可分为3大类:基于字符串匹配的分词方法、基于理解的分词方法和基于统计的分词方法。 1 基于数据的定能 基于字符串匹配的分词方法又叫做字符串分词方法,它是按照一定的策略将待分析的字串与一个机器词典中的词条进行匹配,若在词典中找到某个字符串,则匹配成功(识别出一个词)。按照扫描方向的不同,字符串匹配分词方法可以分为正向匹配和逆向匹配。 2 消除歧视切分 基于理解的分词方法是通过让计算机模拟人对句子的理解,达到识别词的效果。通常的分析系统,都力图在分词阶段消除所有歧义切分现象。其基本思想就是在分词的同时进行句法、语义分析,利用句法信息和语义信息来处理歧义现象。 3 相邻共现频率 基于统计的分词方法从形式上看,词是稳定的字组合,相邻的字同时出现的次数越多,就越有可能构成一个词。因此,字与字相邻共现的频率或概率能够较好地反映成词的可信度。可以对语料中相邻共