全文搜索引擎_毕业论文.doc

PAGE 本科生毕业设计 全文搜索引擎 目 录 PAGE II 目 录 TOC \o 1-3 \h \z \u 设计总说明 h I introduction h II 第1章 绪论 h 1 1.1 课题研究的目的和意义 h 1 1.2 全文搜索引擎的发展现状和前景 h 1 1.2.1 搜索引擎对用户提问的理解 h 1 1.2.2 对检索结果进行处理 h 2 1.2.3 提高搜索引擎的针对性 h 2 1.2.4 将搜索引擎的技术开发重点放在对检索结果的处理上 h 2 第2章 相关技术的介绍 h 4 2.1 中文分词简介 h 4 2.1.1 分词规范问题 h 4 2.1.2 基于词典的中文分词方法 h 4 2.1.3 分词中的词典机制 h 7 第3章 全文搜索引擎需求分析 h 10 3.1 系统功能 h 10 3.1.1 功能划分 h 10 3.2 功能描述 h 10 3.2.1 前台显示 h 10 3.2.2 后台管理 h 10 3.2.3 搜索引擎 h 10 3.2.4 LUCENE索引 h 10 3.2.5 网页分析 h 10 3.2.6 分词 h 11 3.3 分词模块需求 h 11 3.3.1 功能需求 h 11 3.3.2 中文自动分词模块设计方案选择 h 12 第4章 全文搜索引擎系统设计 h 13 4.1 系统功能结构图 h 13 4.2 系统流程图 h 13 4.3 分词组件图 h 14 4.4 分词流程图 h 15 4.5 分词时序图 h 15 4.6 分词数据库设计 h 16 4.6.1 数据字典 h 16 4.7 分词词典设计 h 18 4.7.1 Dictionary散列表的实现 h 18 4.7.2 分词词典的查询 h 19 4.7.3 分词词典的创建 h 19 4.7.4 添加未登录词 h 19 4.7.5 删除错误词汇 h 21 4.8 分词器设计 h 21 4.8.1 预处理模块设计 h 21 4.8.2 自动分词模块设计 h 22 4.8.3 切分未登录词模块设计 h 22 第5章 系统实现和系统测试 h 24 5.1 系统实现 h 24 5.2 系统测试 h 26 总 结 h 28 鸣 谢 h 29 参考文献 h 30 附 录 h 31 设计总说明 PAGE 30 设计总说明 搜索引擎（Search Engine）已经成为互联网不可缺少的工具，可以帮助人们更快的找到所要的内容和信息。提高做事的效率，使互联网资源高效的利用。. 互联网搜索的使用水平可以反映全民的信息处理能力，几年前有研究发现美国用户比欧洲用户的互联网使用水平领先半年左右，主要是根据谁搜索时平均使用的关键词的个数多。中文用户的搜索使用水平相对于西文用户目前仍然处于比较初级的阶段，而中文网站搜索功能的缺失也是一个重要的因素。 网站拥有了较多内容后，首先考虑基于目录的内容分类，以解决信息快速定位的问题，随着内容量的进一步增加，很多内容在发表之后就很快被湮没，成为“信息孤岛”，而不断加深的目录结构也会让用户逐渐失去耐心，这时，关键词检索的优势就体现出来了：关键词检索可以让处于“信息孤岛”状态的内容以一种更直接的方法提供给用户；和基于目录/分类的树形结构不同，基于关键词检索还可以让内容之间实现网状的关联结构，从而大大提高信息的引用密度。 基于传统数据库的关键词检索由于性能问题让很多网站放弃了搜索功能，问题的解决归根结底还是需要一个全文引擎。而Lucene开源信息资源库的出现让这种原来被少数公司掌握的技术得到了迅速的普及。 本文在对传统自动分词系统及目前已有的主要自动分词算法研究的基础上，对传统分词算法都做了改进。主要工作如下：对传统的正向最大匹配算法进行了改进，将传统的固定最大匹配词长改为分词过程中动态确定，充分体现了“长词优先”原则；对分词中的未登录词识别问题，对字符串分别进行二元分词和数字处理，能在一定程度上提高算法的查全率，精确率和问登录词识别率。 综上所述，本文设计的自动分词方法，具有较好的分词效果，可以初步应用于全文检索及各种中文文本处理。 关键词：正向最大匹配算法；中文分词；全文搜索；搜索引擎； INTRODUCTION introduction The Internet search engine has become an indispensable tool that can help p