基于Hadoop的搜索引擎关键技术研究-软件工程专业论文.docxVIP

万方数据 万方数据 独创性声明 本人声明，所呈交的论文是本人在导师指导下进行的研究工作及 取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外， 论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得 武汉理工大学或其他教育机构的学位或证书而使用过的材料。与我一 同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说 明并表示了谢意。 签名： 日期： 学位论文使用授权书 本人完全了解武汉理工大学有关保留、使用学位论文的规定， 即学校有权保留并向国家有关部门或机构送交论文的复印件和 电子版，允许论文被查阅和借阅。本人承诺所提交的学位论文（含 电子学位论文）为答辩后经修改的最终定稿学位论文，并授权武 汉理工大学可以将本学位论文的全部内容编入有关数据库进行 检索，可以采用影印、缩印或其他复制手段保存或汇编本学位论 文。同时授权经武汉理工大学认可的国家有关机构或论文数据库 使用或收录本学位论文，并向社会公众提供信息服务。 （保密的论文在解密后应遵守此规定） 研究生（签名）： 导师（签名）： 日期： 武汉理工大学硕士学位论文 武汉理工大学硕士学位论文 摘要 随着社会信息化程度不断提高，各行各业与网络的联系越来越紧密，由此而 产生的网络信息每天都以指数级增长。在海量的网络信息资源中，通用搜索引 擎的检索结果出现杂、乱、多的现象，快速并且精确地找到用户所需的信息因 此变得日益困难。通用搜索引擎对搜索数据的排序展示都受到商业影响同时也 有搜索结果网页数据量大，无法体现关键字专业性的缺陷。 由此针对特定行业特定需求的垂直搜索引擎应运而生，但大多数中小型企业 并非互联网公司，没有人力和时间像百度谷歌那样做出高效的搜索产品，同时 互联网通用搜索引擎也不能完全满足企业的搜索要求，存在信息无法及时检索 到，企业内部信息出于安全考虑也不能交给通用搜索引擎爬取数据。因此如何 为那些具备一定的数据集，但开发能力较弱的中小型企业提供高效的搜索计算 服务，使其摆脱“信息迷航”和“信息过载”带来的困扰，成为搜索领域研究 的热点和难点。 本文首先介绍了搜索引擎的发展历史，和比较流行的开源搜索引擎组件 Hadoop,Nutch 和 Solr。然后深入研究了网页链接排序算法 PageRank，在分析了 传统 PageRank 算法的代数原理和分布式实现后，针对其平均分配权值的缺陷， 本文提出了一种结合网页本体内容和链接关系的 PR 转移概率分配策略。之后详 细介绍了分布式爬虫 Nutch 的内部结构和功能模块后，将其与 Hadoop 平台结合 通过 MapReduce 的方式完成网络数据的并发下载，具有爬取速度快，爬取网页 量大的特点。数据检索和数据索引是搜索引擎的重要部分，其性能直接影响到 企业的数据处理量和用户体验。Solr 作为封装了 Lucene 的搜索接口具有很好的 搜索和索引能力，在介绍了 solr 的架构和特点后，设计了一种分布式的集群框 架，利用 Solr 作为检索工具，具有可扩展能力和容错能力强，能处理海量检索 请求等优势，实现了分布式垂直搜索引擎雏形。通过实验对比单机搜索，证明 在网页数据达到两万甚至更高时，分布式搜索在数据爬取，数据索引和数据检 索上消耗的时间大大小于单机搜索时的时间消耗，在将搜索结果结合改进的 PageRank 算法和向量空间模型算法进行网页打分，很大程度上提高了搜索精确 度，且分布式搜索系统具有个性化能力强，扩展简单的特点，系统稳定性和安 全性都得到保障，能很好满足中小企业的搜索要求，为企业带来低成本高回报 的搜索服务。 I 关键词:搜索引擎，分布式，Hadoop，solr，PageRank II ABSTRACT With continuous improvement of the degree of society informatization, the connection of all trades and professions to the internet is getting close, leading to the dramatic increase of internet information every day. As there are massive amounts of information, the retrieved results of the general search engine are of enormous quantity, which is disorderly and unsystematic. Therefore it is becoming difficult to find the information what the users a