基于nutch和solr的企业级搜索引擎的研究与实现-计算机软件与理论专业论文.docxVIP

万方数据 万方数据 西安电子科技大学 学位论文创新性声明 秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在 导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标 注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成 果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的 材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说 明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名： 日期 西安电子科技大学 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。学校有权保 留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内 容，可以允许采用影印、缩印或其它复制手段保存论文。同时本人保证，毕业后 结合学位论文研究课题再攥写的文章一律署名单位为西安电子科技大学。 （保密的论文在解密后遵守此规定） 本学位论文属于保密在 年解密后适用本授权书。 本人签名： 日期 导师签名： 日期 万方数据 万方数据 摘 要 企业级搜索引擎是一个主要针对企业内部各网站和 web 系统的搜索引擎系统, 由于企业内部信息不仅分布在网站上，很多非常重要的信息分布广泛,例如数据库、 文件系统或者是内容资料库中，且以不同的格式存在并按照不同的分类组织，受 不同的安全机制控制。对于最终使用内容的用户，只是希望通过简单的搜索命令 字，然后系统自动从系统所建立的索引或者缓存中搜索到相应的内容反馈给用户， 这样可以实现信息的简单快速访问。因而企业信息搜索系统应运而生。 本文提出了集成 Nutch 和 Solr 的企业级分布式搜索引擎的设计方案。本方案 中，Nutch 主要负责对网页内容的抓取、提取和解析，对于企业内部的文档类信息， 则设计了专用的文档采集器对其进行采集解析等。而 Solr 作为搜索后端，使用 Zookeeper 作为集群配置信息的管理，这样充分利用了 Solr Server 的拼写检查、搜 索提醒和查询缓存等功能，实现了企业系统内部的分布式搜索功能。本方案还引 入 IKAnalyzer 来增强系统的中文分词能力并实现了对用户搜索日志的采集、更新 以及归档。最后本文通过实验证明本方案所提出的企业级搜索引擎可以实现快速、 高质量的搜索。 关键词：Nutch Solr 文档采集器 分布式 万方数据 万方数据 Abstract Enterprise search engine is a search engine that works mainly for internal website and web system. For a lot of internal valuable information distributing not only on the website, but also in the file system, database and so on, and the information always exist in different formats and organized by different classification. And at the same time, it is controlled by different security. For users, they just want to search web contents simply by entering the keyword, all of the searching jobs will be done by the search engine. Thus enterprise search system came into being. In this paper, we proposed an enterprise search engine that integrates Nutch and Solr, it can achieve distributed searching. In this scheme, for the web content capturing, extracting and parsing are accomplished by the Nutch, but for the document content, those jobs will be done by the document collector. Solr is a search backend, it