基于双词典机制的中文分词系统设计.pdfVIP

学兔兔 第1期(总第176期) 机 械 工 程 与 自动 化 No．1 2013年2月 MECHANICAL ENGINEERING ＆ AUTOMATION Feb． 文章编号：1672—6413(2013)01—0017—03 基于双词典机制的中文分词系统设计 李 玲 (中北大学电子与计算机科学技术学院，山西 太原 030051) 摘要：中文分词是中文信息处理的基础技术之一，被广泛应用于搜索引擎、机器翻译、自动分类、自动校 对、语音合成等方面。阐述了一种基于双词典机制的中文分词系统的设计。该设计中，构造了标准词典、临 时词典和临时高频词表组成的双词典机制作为分词基础，应用了正向最大匹配法和逆向最大匹配法进行分 词，提出了基于双词典机制的歧义处理方法。实验表明了此设计的可行性和优越性。 关键词：中文分词；双词典机制；歧义处理 中国分类号：TP391．1 文献标识码：A 1 中文分词及分词算法概述 区位码换算公式如下： 对于中文来说，中文字符串可逐步细化为段、句、 机内码高位：==区码+0xA0， 词、字。字、句和段能通过明显的标点符号分界符来简 机内码低位一位码+OxAO。 单划界，也易于让机器“看”，只有词需要用分词算法来 若区位码表示为十六进制数，其中区码为区位码 划分，即中文分词。现有的分词算法可分为3大类：基 的前两位，位码为区位码的后两位。据此特点，可用散 于字符串匹配的分词方法、基于理解的分词方法和基 列表方式来存储词条首字，实现首字的迅速定位。根 于统计的分词方法【1～。基于字符串匹配的分词方法是 据机内码与区位码及数组特点，设散列函数为(chl一 按照一定策略将待分析汉字串与词典中的词条进行匹 0xB0)*944-ch2—0xAl，其中chl为机内码高位， 配，若在词典中找到某个字符串，则匹配成功。该方法 ch2为机内码低位。首字结点设计见表1。 需要确定三个要素：词典、扫描方向、匹配原则[2]。基 表l 首字结点结构表 于字符串匹配的分词方法原理简单，实现相对容易，并 能达到较高的准确度，是最常用的分词策略，缺陷是容 2．1．2 词索引表 易产生歧义切分。词典是字符串匹配的分词方法中很 根据统计，汉语词语中二字词占大多数，有3万多， 重要的基础部分，因此该方法又称为基于词典的分词 其次是三字词和四字词，都是3千多，五字词及以后则 方法。 很少。所以二、三、四字词的查询效率直接影响分词速 2 双词典设计 度。为提高查询效率，本词索引表结点具体设计见表2。 目前有三种典型的中文自动分词词典机制，分别 是基于整词二分的词典机制、基于TRIE索引树的分 I二字词起l二字词l三字词起I三字词l四字词起l四字词I多字词起 词词典机制和基于逐字二分的分词词典机制啪。整词 f始位置f个数 I始位置}个数 }始位置1个数 J始位置J 二分法是一种广为使用的分词词典机制 ]。本设计采 若要匹配的词为二字词，从“二字词起始位置”到 用一种双词典机制，它由改进的整词二分法标准词典、 “三字词起始位置”间进行查询。以此类推。 辅助的临时词典和临时高频词表三部分组合而成。 2．1．3 标准词典正文 2．