基于Wayback的索引策略研究.pdfVIP

DL IB O SS 2009论文选登 基于 W ayback 的索引策略研究 1, 2 1 3 孙志茹 　吴振新 　曲云鹏 1 (中国科学院国家科学图书馆 　北京 100 190) 2 (中国科学院研究生院　北京 100049) 3 (中国国家图书馆 　北京 100081) 【摘要 】通过分析 目前使用 W ayback 作为访问工具的 W eb A rch ive项 目,总结出资源索引工作采用的几个典型索 引策略 ,并对其适用范围及优缺点进行初步分析和探讨 , 以期为界内同行提供参考 。 【关键词 】W eb A rch ive　W ayback　索引策略 【分类号 】G202 Ana ly sis of Index Stra teg ies in W eb Arch ive 1, 2 1 3 Sun Zh iru 　W u Zhenxin 　Qu Yunp eng 1 (N ational Science L ibrary, Ch inese A cademy of Science s, B eij ing 100 190 , Ch ina) 2 ( Graduate Un iversity of the Ch inese A cademy Science s, B eij ing 100049, Ch ina) 3 (N ational L ib rary of Ch ina, B eij ing 100081, Ch ina) 【Ab stract 】Th is article summ arizes several typ ical index strategie s through analyzing W eb A rch ive p rojects w ith W ayback as acce ss tool, also gives p relim inary analysis for the scop e of app lication , m erits and fau lts of each strategy. Thu s hop e s to give comp an ie s of th is area som e reference. 【Keywords】W eb A rch ive　W ayback　Index strategy 1　引　言 　　随着网络的蓬勃发展 ,W eb 资源正日益成为文化遗产的重要组成部分 , W eb 资源的采集和保存活动 , 即 W eb A rch ive 已成为各国保存领域的研究重点 。经 W eb A rch ive所存档的 W eb 资源不但继承了 W eb 资源本身的动态 、 增长 、海量等特性 ,还强化了这些特性并呈现出一些独有的特征 ,这些特性也完整地反映到 W eb 资源的索引数据 上 ,如内容动态增长 、内容累积性 、内容海量以及对硬件高性能的需求 。为了支持 W eb A rch ive 资源的高效访问, W eb A rch ive 的索引系统面临着动态性 、准确性 、可伸缩性 、高性能等多方面的挑战。制定合适的索引策略 ,高效 地管理索引数据 ,从而提高索引性能 ,成为 W eb A rch ive访问系统的一个非常关键的问题 。 　　W ayback[ 1 ]是 目前 W eb A rch ive领域中广为使用的存档资源访问系统 ,它集存储 、索引、检索 、再现等功能于一 体 。初始版本为 W ayback M ach ine, 由 A lexa 公司受 Internet A rch ive ( IA ) 委托于 200 1 年开发完成并投入使用 。 W ayback M ach ine 由 Perl语言实现 ,缺乏可维护性和可扩展性 ,代码也并非开源 。其后的 Java版本主要致力于解 决这三个问题 ,从而促进了 W ayback 的广泛应用及逐步完善 。W ayback 的典型应用案例是 Internet A rch ive ( IA ) , 据统计 , 从 19 96年至今 IA已经保存了 85