一种快速中文分词词典机制.pdfVIP

第 26 卷第 5 期 中 国科 学 院 研 究 生 院 学 报 Vol . 26 No . 5 2009 年 9 月 Journal of the Graduate School of the Chinese Academy of Sciences September 　2009 ( ) 文章编号 2009 一种快速中文分词词典机制 1 ,2 2 2 2 吴晶晶 　荆继武 　聂晓峰 　王平建 ( 1 中国科学技术大学电子工程与信息科学系 , 合肥 230027 ; 2 中国科学院研究生院信息安全国家重点实验室 , 北京 100049) (2008 年 10 月 16 日收稿 ; 2009 年 4 月 21 日收修改稿) Wu JJ ,Jing JW , Nie XF , et al . Fast dictionary mechanism for Chinese word segmentation [ J] . Journal of the Graduate School of the Chinese Academy of Sciences ,2009 ,26( 5) :703～711. 摘 　要 　通过研究目前中文分词领域各类分词机制 ,注意到中文快速分词机制的关键在于对 单双字词的识别 ,在这一思想下 ,提出了一种快速中文分词机制 :双字词 - 长词哈希机制 ,通过 提高单双字词的查询效率来实现对中文分词机制的改进. 实验证明 ,该机制提高了中文文本分 词的效率. 关键词 　文本实时处理 , 中文分词 ,词典法分词 ,双字词 - 长词哈希机制 中图分类号 　TP3911 　　随着中文网络的大规模发展 ,包含中文信息的网络数据也快速膨胀. 对于海量中文网络数据的实时 分析处理成为新一代中文信息处理技术必须关注的问题. 而作为中文信息处理基础的分词技术 , 已经被 [ 1] 广泛应用于中文信息检索 、人机交互 、信息提取 、文本挖掘等领域中 . 成功的中文分词机制需要同时具有较高的词汇切分准确性和快速的词汇切分能力. 其中 ,前者需要 ( ) 解决未登录词汇 outofvocabulary 识别和词汇歧义切分等难题 , 目前主要采用字符串频度统计 ,语料字 词标注[23 ] 等机器学习方法 ;而快速词汇切分能力是关系到整个中文信息处理系统 ,特别是实时处理类 应用系统可用性的关键技术 , 目前主要通过设计高效的分词词典机制来实现速度提升. 此类快速分词机 制一般基于传统的词典分词方法[410 ] ,依靠已有的特征词典作为文本切分匹配依据 ,设计简单 ,实现容 易 ,算法效率很高 , 词典法分词机制中与分词速度相关的有 2 个要素 :词典构造方法和词汇匹配方法 ,这 2 个方面相互 关联. 常见的词汇匹配方法有前向匹配 、后向匹配 、最大匹配 、逐字匹配等. 目前研究认为 ,采用前向最大 [5 ] 匹配是分词速度最高的匹配方法 . 本文不研究匹配方法造成的分词速度差异 ,主要通过研究不同词典 的构造方法来实现高速的分词机制. 文中第 1 部分简单描述了几种经典分词词典机制 ;第 2 部分详细介绍几种改进词典机制 ;在第 3 部 ( 分介绍作者提出的一种快速中文分词词典构造机制 :双字词和长词哈希