基于Lucene的中文分词器设计与实现-信号与信息处理专业论文.docxVIP

万方数据 万方数据 分类号： 密级： U D C ： 编号： 工学硕士学位论文 基于 Lucene 的中文分词器设计与实现 硕 士 研 究 生 ：王韵婷 指 导 教 师 ：王桐 副教授 学 位 级 别 ：工学硕士 学 科 、 专 业 ：信号与信息处理 所 在 单 位 ：信息与通信工程学院 论 文 提 交 日 期 ：2014 年 03 月 论 文 答 辩 日 期 ：2014 年 03 月 学 位 授 予 单 位 ：哈尔滨工程大学 Classified Index: U.D.C: A Dissertation for the Degree of M. Eng Design and Implementation of Chinese word Analyzer based on Lucene Candidate: Wang Yunting Supervisor: A. Prof. Wang Tong Academic Degree Applied for: Master of Engineering Specialty: Signal and Information Processing Date of Submission: March, 2014 Date of Oral Examination: March, 2014 University: Harbin Engineering University 哈尔滨工程大学 学位论文原创性声明 本人郑重声明：本论文的所有工作，是在导师的指导下，由作者本人独立完成的。 有关观点、方法、数据和文献的引用已在文中指出，并与参考文献相对应。除文中已注 明引用的内容外，本论文不包含任何其他个人或集体已经公开发表的作品成果。对本文 的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声 明的法律结果由本人承担。 作者（签字）： 日期： 年 月 日 哈尔滨工程大学 学位论文授权使用声明 本人完全了解学校保护知识产权的有关规定，即研究生在校攻读学位期间论文工作 的知识产权属于哈尔滨工程大学。哈尔滨工程大学有权保留并向国家有关部门或机构送 交论文的复印件。本人允许哈尔滨工程大学将论文的部分或全部内容编入有关数据库进 行检索，可采用影印、缩印或扫描等复制手段保存和汇编本学位论文，可以公布论文的 全部内容。同时本人保证毕业后结合学位论文研究课题再撰写的论文一律注明作者第一 署名单位为哈尔滨工程大学。涉密学位论文待解密后适用本声明。 本论文（□在授予学位后即可 □在授予学位12个月后 □解密后）由哈尔滨工程大 学送交有关部门进行保存、汇编等。 作者（签字）： 导师（签字）： 日期： 年 月 日 年 月 日 基于 Lucene 的中文分词器设计与实现 摘 要 随着数字信息时代的到来，搜索引擎的索引数据变得越来越大，其开发与维护的成 本亦越来越高。开源的全文搜索引擎工具包 Lucene 作为一个优秀的全文检索核心框架， 得到了越来越广泛的应用。但是，Lucene 对中文信息处理能力的不足严重制约了它在中 文搜索引擎项目中的有效应用。鉴于此，本文设计并实现了一个基于 Lucene 的具有添 加同义词功能中文分词器 MySameAnalyzer，用来提高 Lucene 对中文信息的处理能力。 首先，在分析对比了现有中文分词算法的基础上，本文得出了对搜索引擎而言，目 前中文分词最好的解决方案就是基于词典的机械分词法的结论，因此，本文提出并设计 了一种优化的基于 Trie 索引树的分词词典机制——Map-Array 联合 Trie 索引树词典机 制，简称 MACTIT 词典机制。通过实验证明，该词典机制与传统的 Trie 索引树词典机 制相比，其时间开销和空间开销都得到了极大的优化，从而有效地提高了分词算法的分 词速度，节约了分词词典的存储空间。 其次，鉴于 Lucene 搜索时采用的是倒排索引的索引结构，其搜索的速度优势在于 “全词匹配”而非“like 匹配”，因此，对于过于粗粒度的分词输出，尽管其分词结果 好看，却常常会导致用户搜不到东西。针对上述问题，本文采用了特有的“正向迭代最 细粒度”分词算法，对待分析的文本进行最细粒度的切分，以保证分词搜索过程中检索 系统的召回率。 再次，在分词过程中，歧义字段是普遍存在的，其中最常见的就是交集型歧义字段， 因此，对搜索过程中常遇到的交集型歧义字段的处理，本文充分利用 TreeSet 数据结构 的自定义排序功能，将分词过程中所产生的相交词块存放到 TreeSet 中，再根据六条歧 义消除规则，贪心地选择其中不相交的、近似最优的一组分词结果来进行输出，该分词 歧义消除方法并没有遍历 TreeSet 中所有可能的分词结果，以此来达到节省分词时间