基于Lucene与Heritrix的图书垂直搜索引擎的研究与实现.pdfVIP

· 12 · ComputerEraNo．2 2010 基于Lucene与Heif『jx『的图书垂直搜索弓I擎的研究与实现 王 琦，张 戈，何 婧 f河南大学计算机与信息工程学院，河南 开封 475004) 摘 要：垂直搜索引擎是针对某一领域的搜索引擎，它可以帮助用户在海量数据面前进行快速、专业、精准的检索。文 章研究了垂直搜索引擎的特点，对Lucene与Heritrix的架构与主要模块功能进行了分析，设计并开发了图书垂直搜索引 擎系统，为用户提供快捷、专业的图书信息检索服务。 关键词：垂直搜索引擎；图书；Lucene；Heritrix Research and Implementation ofBooksVerticalSearch EngineBasedon Luceneand Heritrix WANGQi，ZHANG Ge，HEJing (CollegeofComputerandInformationEngineering,HenanUniversity，Kaifeng，Henan475OO4China) Abstract：Verticalsearch engine is a kind of search engine specialized in some certain fields．Itcan help usersretrieve fast， professionally and accurately in rfont of large amounts of data．The characteristics of vertical search engine are studied，the architectureandhtemainmodulesofLuceneandHeritrix areanalyzed，andabooksverticalsearch engine system isdesigned and developed．Thesystem providesswift andprofessionalbooksinformationretrievalserviceforusers． Key words：verticalsearch engine；book；Lucene；Heritrix O引言 索是以网页为最小单位，而垂直搜索是以结构化数据为最小单 近几年来，随着信息技术的迅速发展，互联网上数据量也 位)；然后对这些数据进行进一步的加工处理、存储到数据库； 最后对这些数据分词、建立索引，满足用户的检索需求。 在急剧增长。在这样的海量数据面前，如何让用户决速准确地 垂直搜索引擎通常由三大部分组成：抓取系统，索引系统 找到所需要的信息，已成为研究的热点问题。百度 、谷歌等通 和搜索系统，如图l所示。 用搜索引擎提供的功能十分强大，在一般情况下可以满足用户 的需求 ，然而当用户只想查询具体某专业或主题的相关信息 时，这类搜索引擎就会显得有些力不从心了。垂直搜索引擎正 是用于解决这类问题的。它针对某一个特定领域、对某种专门 信息进行收集和整合，为特定用户提供快捷、专业、精准、深入 图1 垂直搜索引擎组成图 的检索服务。本文主要讨论如何利用Lucene和Heritrix技术， 构建图书垂直搜索弓f擎系统，为用户提供一个方便 、快捷的图 (1)抓取系统，也就是蜘蛛程序，负责从信息源抓取数据。 书检索平台。 蜘蛛程序通常是基于预先构造的模板工作的，无模板的蜘蛛程 序只能处理结构相对简单的信息