具有三级索引词库结构的中文分词方法研究.PDFVIP

第 8 期 肖 红等: 具有三级索引词库结构的中文分词方法研究 ·49 · * 具有三级索引词库结构的中文分词方法研究 肖 红, 许少华, 李 欣 ( 大庆石油学院 计算机科学系, 黑龙江 大庆 163318) 摘 要: 提出了一种分组并具有三级索引结构的词库组织体系, 给出了合适的索引密度间隔; 针对系统基本词 库的扩充问题 , 考虑了一种基于词频统计并具有过滤功能的关键词自动抽取和小词条添加方法。大量仿真实验 结果表明, 采用该方法可较大提高中文文本的切词速度及信息的查全查准率。 关键词: 中文切词; 正向最大匹配; 词库; 索引密度; 全文检索 中图法分类号: TP391 文献标识码 : A 文章编号 : 1001- 3695( 2006) 08- 0049- 03