基于lucene的个性化搜索引擎分析与实现-analysis and implementation of personalized search engine based on lucene.docxVIP

摘要伴随着 WWW 的发展，基于 WWW 的信息获取技术——搜索引擎技术出现并得到 迅速发展。由于互联网的开放性，使搜索引擎可以面向普通用户，用户需求进一步推动 其发展。个性化搜索引擎正是在考虑用户兴趣差异的基础上，借助数据挖掘技术对用户 搜索的信息进行再处理，从而使返回给用户的搜索结果更加贴近用户真实需求。随着信 息爆炸性增长及信息多元化发展，个性化搜索引擎逐渐成为研究热点和发展趋势。本文 对它的主要技术进行研究并实现了一个基于 Lucene 的个性化搜索引擎原型系统。本文针对个性化搜索引擎所做的主要工作体现在以下几个方面：1. 分析个性化搜索引擎的体系结构。个性化搜索引擎在体系结构上不同与传统搜索 引擎的部分在于其个性化模块部分，该模块负责用户兴趣模型的建立和更新、网页的个 性化排序。2. 用户兴趣模型的建立。个性化搜索引擎的关键就在于用户兴趣信息的获取，本文 通过分析用户历史搜索记录，采用 TF-IDF 算法得出用户特征词的权重值，若该特征词 的权重值大于某个阈值时，将该特征词设定为用户兴趣词，将其保存到用户兴趣库。3. 提出 SLR 排序算法。该算法包括两个主要计算过程，一是计算用户兴趣词和页 面内容的相似度，二是通过分析页面的入链和出链数量计算页面的链接得分，这两个计 算步骤分别从页面内容和页面结构上分析了该页面对于用户的重要程度，从而使返回的 页面排序更加符合用户的需求。4．实现了一个基于 Lucene 的个性化搜索引擎原型系统。该系统选择扩展性好的 Hertitrix 抓取网页信息；使用 Lucene 对网页信息建立索引及对网页信息进行检索。通过 对该系统的性能检测，有较好的准确率，基本达到本课题的预期目标。关键词:Lucene；个性化搜索引擎；排序算法；兴趣模型；检索AbstractAfter the WWW appear, the technology of information acquisition based on WWW—— search engine technology appear and development rapidly. With the openness of the Internet, the search engine can be for the general user, meanwhile, the needs of users further promote its development. In consideration of user’s different interest, personalized search engine can process the information of users search for, through data mining technology. So that the search results return to the users are more close to the real user needs. With the information explosion and information diversification, personalized search engine has become the research hotspot and development trend. This article analyzes its main technology and a personalized search engine based on Lucene was designed.The major works of this article can be generalized with the following aspects:Analyse the system structure of personalized search engine. In archtitecture, personalized search engine different from the traditional search engine only because which has personalization module. The module is responsible for the establishment and update of user interest model, personalized sorting of the pages.The establishment of user interest model. The key of personalized search e