基于Nutch的新闻主题搜索引擎的设计与实现..doc

毕 业 论 文(设 计) 论文（设计）题目: 基于Nutch的搜索引擎的设计与实现 学 号 学 院 专 业 年 级 指导教师 2014年月 20日  摘要 I ABSTRACT II 第1章 绪论 1 1.1 课题研究背景 1 1.1.1 搜索引擎发展史 1 1.1.2 通用搜索引擎面临的问题 3 1.2主题搜索引擎 3 1.2.1 什么是主题搜索引擎 3 1.2.2 主题搜索引擎研究现状 4 1.3 文本组织结构 5 第2章 主题搜索引擎相关技术介绍 6 2.1 JavaCC简介 6 2.2 Tomcat 简介 8 2.3 Nutch介绍 9 2.3.1 系统架构 9 2.3.2 抓取过程详解 11 2.4 中文分词技术 13 2.4.1 基于字典匹配的分词方法 14 2.4.2 基于词频统计的分词方法 14 2.4.3 基于语义理解的分词方法 15 2.4.4 IK分词器简介 15 2.5 本章小结 15 第3章 爬虫搜索策略的研究 16 3.1 基于链接结构特征 16 3.1.1 PageRank算法 16 3.1.2 HITS算法 18 3.1.3 本文实现的算法 19 3.2 基于内容评价 20 3.2.1 Fish Search算法 20 3.2.2 Shark Search算法 21 3.3 其他相关策略 23 3.3.1基于巩固学习的聚焦搜索 23 3.3.2 基于语境图的聚焦搜索 23 3.4 本章小结 23 第4章 主题搜索引擎的实现 24 4.1 开发环境介绍 24 4.2 系统的体系结构 24 4.3 主题爬虫的配置 25 4.3.1 配置Java环境 25 4.3.2 配置Nutch 25 4.4 Tomcat的配置 26 4.5 添加中文分词 28 4.6 系统测试 30 4.7 本章小结 31 第5章 总结与体会 32 致谢 33 参考文献 34 附录： 35 摘要 互联网上丰富的信息资源给人们的工作和生活带来巨大效益和便利的同时，也带来了巨大的信息冗余。我们在使用传统的通用搜索引擎时，经常会遇到这样的问题，为了搜索到一些专业的基础知识，不得不在众多的网站中，花费大量的时间去寻找，而主题搜索引擎的出现为解决这类问题提供了很好的方法。 另外，由于Nutch具有高透明度，任何单位或个人都可以查看搜索引擎的工作原理并且程序设置灵活，用户可以根据自己需求定制，通过长时间的实际应用，结果表明Nutch运行非常稳定，因此选择Nutch为爱好搜索引擎的人们提供了一个很好的研究平台。 本课题的主要内容是基于Nutch的新闻主题的与实现很多人都喜欢从互联网阅读新闻，但是各大新闻网站为了获得点击率收录了很多低质量，而很难满足人们地域不同类型新闻的需求所以一个新闻主题的搜索引擎是十分有必要的。 首先介绍了搜索引擎的、面临的问题，主题搜索引擎的的优势研究现状并Nutch工作原理的基础上主题爬虫抓取策略进了详细的了新闻主题搜索引擎的方案，了、Tomcat等各组件的安装配置，测试结果并与百度做比较。进行了总结分析。 Nutch；搜索引擎；Crawler；抓取策略； ABSTRACT Abundant Internet information resources bring enormous benefits and convenience for our work and life; these also bring a great deal of redundant information. When we use general Search Engine, we often encounter this problem; in order to search some basic professional knowledge, we had to spend a lot of time to find the knowledge in many websites. While the Vertical Search Engine will solve this problem. In addition, Nutch has highly transparent, any unit or individual can view the search engine work, and the program configuration flexibility, Users can cu