垂直搜索引擎系统的设计和实现.pdfVIP

第 卷第 期 29 3 Vol . 29 , No . 3 年 月 情 报 科 学 2011 3 March,2011 垂直搜索引擎系统的设计与实现 张 敏，杜 华 （河北北方学院信息科学与工程学院，河北张家口 075000 ） 摘 要：面对日益专业和个性化的信息检索需求，通用搜索引擎存在的问题暴露无遗。 垂直搜索技 术作为搜索引擎发展的一个主要方向，正在受到越来越多的关注。在给出一个垂直搜索引擎总体结 构的基础上，详细分析了所涉及的关键技术：网页抓取、 中文分词、文本分类等。 并将分词和分类算 法加入到Nutch 中，实现了系统原型。 实验证明，该系统主题相关度达到94% 以上。 关键词：垂直搜索引擎；中文分词；文本分类；主题相关度； nutch 中图分类号： 文献标识码： 文章编号： （ ） G350 A 1007-7634 2011 03-0421-04 Design and Implement of Vertical Search Engine ZHANG Min, DU Hua （ ， ， School of Information Science and Engineering Hebei North University Zhangjiakou 075000 ，China ） ： Abstract Faced with increasingly professional and personalized needs of information retrieval, the problem for general search engine is exposed. It is more and more attention for vertical search technology as a major direction of search engine development. To gives the general structure of a vertical search engine, based on it, the key technologies involved are analyzed in detail: Web crawling, Chinese word segmentation, text classification and so on. And segmentation and classification algorithms add to the Nutch, realizing a prototype system. Experiments show that the degree