基于教育主题的垂直搜索引擎研究与分析精要.docxVIP

摘要由于通用搜索引擎具有搜索信息量大、查询不准确、深度不够等缺点，本文在通用搜索引擎技术的基础上，依据专业领域搜索策略，设计并实现了一个面向教育主题的垂直搜索引擎系统，着重研究了专业网络蜘蛛定制，基于VSM的主题相关度算法和倒排索引建立等关键技术及其实现细节。实验结果表明，该系统能够快速地响应用户的查询请求，并且返回结果具有较高的准确性。实现了教育资源的共享，具有较高的应用价值。关键词：垂直搜索引擎 ；主题网络蜘蛛；主题相关度AbstractThe general search engine has some disadvantages, such as the amount of information is too large, the searchresults are not accurate enough, and the search deepness is insufficient enough. Based on the general search engine technology and according to the search strategies of expertise field, this paper designs and realizes a vertical search engine system for education theme.We focus on researching and realizing some key techniques about the professionalcustomization of web spider, the algorithm for the degree of subject relativity based on VSM, and the establishment ofinverted index. The experimental results show that, this system can quickly respond to the users queries, and the results can return with a high accuracy. The system realizes the sharing of educational resources, which has a high application value.Key words：vertical search engine; topic web spider; subject relativity基于教育主题的垂直搜索引擎研究与分析第一章绪论1.1国内外的研究现状随着人们对网络信息需求的不断增加，产生了基于网络的搜索引擎，这成为了人们查找并获取信息的重要手段。经过近年的发展，搜索引擎技术取得了极大进展，它建立了快速地从海量的互联网信息里定位和检索的途径，成为当代人日常生活和工作越来越不能缺少的重要工具。但是，用户的个性化需求、信息多元化的发展等一系列因素的产生，使部分用户对引擎有了更深入、快速、及时等查询。通用搜索引擎可以保证查全率,但是对某具体领域而言,无法为用户提供比较精准的信息。因此，人们迫切希望可以有一种信息分类清晰、准确、全面、更新及时的专业搜索引擎来获取网络资源信息，而垂直搜索引擎迎合了这一需求[1]。垂直搜索引擎提供的服务是通用搜索引擎所不能给予的。主题的垂直搜索引擎针对的领域也不一样。面向具体的某一特定领域的垂直搜索引擎能够为这一领域的用户提供更加一专业、更加精确、更加细化的服务。现今,这种而向某一主题的搜索引擎越来越受到人们的关注,在国内外的市场上已经涌现出了很多样的产品,这些垂直搜索引擎包含了各个领域，如教育、社会问题、影视资讯、旅行、房产交易等等，几乎各个领域都发展出了自己的垂直搜索引擎，如Elsevier 科学出版社开发的 SCIRUS 系统，是目前因特网上最全面、综合性最强的科技文献专业网站之一，FocusedProjec系统等。我国的垂直搜索引擎市场还处于起步阶段,垂直搜索引擎自身的技术发展还不成熟,同时用户对于垂直搜索引擎的认知还非常欠缺。但是在这样的环境下,还是涌现出了一批具有代表性的垂直搜索引擎网站：搜房网,是专注于房产行业的搜索;酷讯,是一款以即}讨的生活信息为检索对象的垂直搜索引擎;职友集,是针对职业搜索,除此之外,还有摩狗汽车,络龙医搜、奇虎等等。由此可见,这种而向具体某一主题、专业化的搜索引擎已经成为了现在的流行热点[2]。1.2研究意义针对某些领域特殊人群的特定需求,出现了垂直搜索引擎,它的出现,在快捷、专业、精准方面给人们提供了更好的检索服务。当人们根据需要,给出关键词和例文,垂直搜