分布式搜索引擎查成本结果缓存倒排链缓存论文.docVIP

分布式搜索引擎缓存系统的设计与实现 【摘要】 根据CNNIC2011年1月发布的《第27次中国互联网发展状况统计报告》,截至2010年12月,中国网民规模达到4.57亿,搜索引擎使用率达到81.9%,成为网民第一大应用,.与此同时,中文网页总数已达600亿个,较2009年增长了78.6%。互联网的飞速发展,给搜索引擎提出了新的难题。由于网络信息的爆炸性增长,大规模的Web搜索引擎平均每秒需要处理上万次查询请求,每个查询的处理需要涉及到海量的索引数据,因此查询处理已经成为搜索引擎的主要的性能瓶颈。为了在不降低查询质量的前提下,提高搜索引擎的响应速度,大规模的Web搜索引擎采用了各种优化技术,缓存技术便是其中之一。搜索引擎的缓存系统一般来说主要包含两个层次,第一个层次是结果缓存,它将那些频繁出现查询的检索结果存放到缓存当中,这样当该查询再次出现时,便可直接在缓存中命中,从而极大的提高了查询响应速度。另一层次是倒排链缓存,由于搜索引擎处理的倒排索引容量一般都很大,无法完全将其加载到内存,因此在检索的时候经常需要从磁盘读入索引文件。由于磁盘读写的速度比内存慢很多,导致检索的大部分时间都耗费在了磁盘读写上。倒排链缓存就是为了减少与磁盘I/O...?更多还原 【Abstract】 According to CNNIC2011 issued in January the 27th China’s