浅谈汉语自动分词的几种方法.docVIP

浅谈汉语自动分词的几种方法 　　摘要： 汉语自动分词是计算机中文信息处理系统的基础和难题，本文对近年来的汉语自动分词的方法如机械匹配法、特征词库法等进行了分析。在此基础上指出：要使汉语自动分词问题得到圆满的解决，就必须深入研究汉语的词法、语法、语义甚至语用和篇章理解及其形式化理论。 　　Abstract： This paper presents methods of mechanical matching, feature lexicon, Binding matrix, grammar analysis and semantic understanding for the Chinese language automatic word segmentation. It is pointed out that we must study deeply the morphology, grammar, semantics and even pragmatics and chapter understanding of Chinese as well as its formal theory before we can solve satisfactorily the problem of the Chinese language automatic word segmentation. 　　关键词： 汉语自动分词；词库；分词算法 　　Key words： Chinese language automatic word segmentation; lexicon; word segmentation algorithm 　　 中图分类号：TP391.1 文献标识码：A 文章编号：1006-4311（2011）13-0176-02 　　0 引言 　　汉语自动分词是中文信息处理领域的一项基础性课题，也是智能化中文信息处理的关键，因为“在中文信息处理中，凡是涉及句法、语义等研究项目都要以词为基本单位”[1]。英语等西方语言的书面形式以空格作为词与词之间分隔标志， 而汉语的书面形式却是连续的汉字串。这样， 理解汉语的首要任务是把连续的汉字串分割成词的序列。本文给出各种传统的自动分词方法并分析这些方法的特点和所遇到的各种问题。 　　1 各分词方法简介 　　1.1 机械匹配法 机械匹配法的原则是预先建立所有可能出现的词的一个词库。对特定的待分词的汉字串S，依据某种确定的基本思想切取S的子串，假如本子串和词库中的某词条一致，那么本子串为词，然后继续分割剩余的部分，直到剩余部分是空的；假如本子串和词库中的某词条不匹配，那么本子串不是词，转上重新切取S 的子串进行匹配。 　　依据切取子串的方向，可以把机械匹配法分成以下两种：①正向匹配法；②逆向匹配法。通过实验发现，正向匹配法的切分正确率比逆向匹配法较低。为了方便发现歧义切分，我们能够把它们有机地衔接在一起，进而生成双向匹配法。因为两者对词库的安排有不一样的要求，因此，把两者结合，需要再次思考词库的安排，旨在它们都可以迅速的执行。依据在进行每次匹配的时候，是首先考虑短词还是长词，我们又能够将机械匹配法分成以下两种：①最大匹配法；②最小匹配法。因为绝大部分的汉字都能够组成单子词，因此，如果依据②（最小匹配法）进行分词的话，其结果通常由于分得过于细致而与要求不相符。在相反情况下，待分串中出现“词中含词”的时候，如果依据①（最大匹配法）进行分词的话，其结果或许会由于分得过于粗而与要求不相符。 　　例如现有短语“计算机科学和工程”，假设词库中最长词为 7 字词，于是先取“计算机科学和工”为匹配字段，来匹配分词词库，由于词库中没有该词，故匹配失败，去掉最后一个汉字成为“计算机科学和”作为新的匹配字段，重新匹配词库，同样匹配失败，取“计算机科学”作为新的匹配字段，来匹配词库，由于词库中有“计算机科学”一词，从而匹配成功，切分出第一个词“计算机科学”。用同样的方法可以继续切分出第二、第三个词……。 　　机械匹配法的的原理简单，易于在计算机上实现，时间复杂度也比较低。但是，最大词长的长度很难确定，如果定得太长，则匹配时花费的时间就多，算法的时间复杂度明显提高；如果定得太短，则不能切分长度超过它的词，导致切分正确率的降低。 　　1.2 语义分析法 为了说明语义分析法的作用， 下面考察一下几个汉语句子的切分问题。对汉语句子“他在计算机房基建投资”。按机械匹配法， 它既可切分成“他/在/计算机/房/基建/投资”， 又可切分成“他/在/计算/机房/基建/投资”。到底该选哪个作为切分结果， 机械匹配法无法确定。但是， 只要对它们进行语法分析， 就不难发现前者不合汉语语法， 后者符合汉语语法。所以应以