Web垂直搜索引擎实现过程研究.docVIP

Web垂直搜索引擎实现过程研究 　　摘 要： Web垂直搜索引擎是一个复杂的信息系统，目前大多数研究都集中在解决搜索引擎中出现的某一个方面的问题，仍缺乏对Web垂直搜索引擎完整实现过程的相关研究。针对这个问题，提出一种三层架构的Web垂直搜索引擎的实现过程，整个过程包含数据准备、查询处理和界面交互。使用Java语言和相关的开源工具，对实现过程描述的具体任务进行实际操作，实现了一个查询手机信息的Web垂直搜索引擎。该三层架构和实现过程有效地为构建面向主题的完整Web垂直搜索引擎提供了理论依据和实践指导。 　　关键词： Web搜索； 搜索引擎实现； 垂直搜索架构； 爬虫 　　中图分类号： TN911?34 文献标识码： A 文章编号： 1004?373X（2016）08?0055?05 　　Research on implementation process of Web vertical search engine 　　ZHANG Hongxian， TIAN Yuling 　　（School of Computer Science and Technology， Taiyuan University of Technology， Taiyuan 034000， China） 　　Abstract： The Web search engine is a complex information system. However， most researches are concentrated on one detailed problem appearing in a aspect of the search engine， but they lack of the correlational research on the complete implementation process of Web vertical search engines. Aiming at this problem， the implementation process of a Web vertical search engine with a three?layer architecture is proposed， in which data preparation， query processing and interface interaction are contained. An actual operation of a certain task describing the implementation process was performed with Java platform and relative open?source tools. And by this operation， the Web vertical search engine that could query mobile information was realized. The three?layer architecture and implementation process provide a theoretical basis and practical guidance for building a complete subject?oriented Web vertical search engine. 　　Keywords： Web search； search engine implementation； architecture of vertical search engine； crawler 　　0 引 言 　　从2000年开始，Web垂直搜索引擎开始赢得用户的亲睐[1?2]。视频、音乐、图片、软件、贴吧、地图分门别类展开搜索，专业性更强，主题相关性更高。然而Web垂直搜索引擎的应用主题并不局限，拥有非常广阔的发展空间，例如面对电子商务的商品搜索，数码产品信息搜索以及近年开始出现的微博搜索。垂直搜索的出现主要有两个方面的原因：一是通用搜索引擎索引Web的全部内容变得越来越难，而垂直搜索引擎索引数据量较小且专业，投入成本也相对较低；二是垂直搜索引擎提供的搜索质量较高，因为它可以搜索到通用搜索引擎不能搜寻到的页面，而且在可搜索页面上提供更强有力的搜索功能。垂直搜索引擎与通用搜索引擎的最大区别在于对网页信息进行结构化信息抽取，即将网页的非结构化数据提取成特定的结构化数据。构建一个垂直搜索引擎主要有两种方法：一种方法是通过爬虫爬取某种主题网页而构建专业索引；另一种方法是为用户提供专业化搜索的接口。 　　Web搜索