搜索引擎性能的优化设计.pdfVIP

第26卷 增 刊 计 算 机 工 程 2000年 10月 Vol.26SupplementaryIssue ComputerEngineering October2000 2000年CERNET第七届学术会议论文集 ·救字化图书馆和信息检索技术 ·文章编号:1000-3428(2000)A刊--0742-05 文公标识码:^ 搜索引擎性能的优化设计 区伟麟，蓝守斌，张 凌 (华南理工大学信息网络工程研究中心，广州510641) 摘 要:本文对木楠搜索引攀的性能进行了分析。并根据原系统的特点，引入了并行分类检索和数据粗存机制两个性能 优化方案，提高了系统的性能，加快丁响应时间。 关，润:并行植索:数据怪存，扭存!换策路:LFU算法 中”类号C:P39 PerformanceOptimizationofSearchEngene OnWei1in,DougShaubin,ZhangLing (NetworkCenterofSouthChinaUniversityofTechnology,Guangshoa510641) [Abstract]Thispaperanalyeztheperformanceofthekapoksearchengineandintroducetwoperformanceoptiankution methods,parallelclassifiactoinsaerchingandacchemechanism,toshortentheresponsetimeofsearchen咖二 [Keywords]Parallelsearching;Cachemechanism;Cachereplacementpolicy;LFUarithmetic 1引言 搜索引攀要讲究时效性，必须保证对用户的每一查询有一定的响应速度，但响应速度往往受到库 存A大小的制约。据统计，到1997年底，全球共有320,000,000个可索引的Web页面，而到了1999 年2月，可索引Web页面的数皿增长超过一倍，达到了g00,000,000个之多，并且还在以每月2016 的速度增长。如何在如此庞大的数据量中保持一定的时效性，如何加快搜索引攀的响应速度，成了一 个必要的课题. 本文分析了木棉搜索引攀的性能，井提出了两种改善优化方案一一 并行式分类检索和数据级存 机制。 2信息检索系统概述 一般而言，信息检索系统是由用户查询界面，代理服务器，检索服务器，索引库组16131,其中: ·代理服务器实现了接收查询请求;存送请求到检索服务器，接收检索服务器的返回结果(文件 作老简介:区伟一 主研信息系统和网络工程技术 定稿日期:2000-08-01 -742- 号，文件权重)，跟据文件号到本地硬盘上对应文件找出R[9，文件摘要，更新时间等信息，返 回结果给用户; ·检索服务器实现了分析用户的查询表达式(语意分析，中文切词。中英文对照等)，进行检索运 算.实现相关排序，结果返回。 通过对木棉检索系统工作流程的全面分析，发现原检索系统存在响应速度慢等特点。因此我们提 出了并行分类检索和数据缓存机制两个性能优化方案。 3并行分类检索 3.1概述 随著网上可索引网页的不断增多、膨胀，单进程、单检索代理的在大数据a索引库中查询的方式 便显得低效和难于管理。为了扩大查询范围，现在互联网上已逐渐出现了所谓联合检索引攀pieta SearchEngine)，它可以把用户的查询，同时地、并行地发向不同的搜索引攀，并把它们的结果综 合汇总输出给用户。受到它的启发，并结合木棉搜索引攀本身的具体情况，我们提出了荃于不同分类 的并行式检索模型。 3.2系统框圈 如图1所示，系统由用户接口、分类检索代理、汇总输出组成，它们各自的功能如下。 } A9览器 } 圈1井行分类位索系统圈 (1)用户接口:用户接口是浏览器