基于云存储的网页归档方案的研究.pdfVIP

计算机时代 2017年 第4期 ·21· DOI：10．16644／j．cnki．cn33-1094／tp．2017．04．006 基于云存储的网页归档方案的研究★ 徐 飞，郑秋生，高艳霞 (中原工学院，河南 郑州 450007) 摘 要：目前美国、加拿大和澳大利亚等国的WebArchive(网页归档)技术和方案比较多，有些也比较成熟，部分已经成 功应用。在我国也有网页归档的应用，但对采用的技术方案和具体工具的研究很少。结合国外的网页归档技术和最新 的云存储技术，提 出了一种适合我国的网页归档和存储的技术方案。 关键词：网页归档；云存储 ；Web采集；Heritrix 中图分类号：TP311 文献标志码 ：A 文章编号：1006-8228(2017)04-21-05 Research 0fW eb archiveschemebased on cloud storage XuFei，ZhengQiusheng，GaoYanxia (ZhongyuanUniversityofTechnology,Zhengzhou,Henan450007,China) Abstract：Atpresent，the United States，Canada and Australiapossess htetechnology and scenariosofWeb Archive，someofhtem aregoodenoughtobeputintopractice．WhileChinaalsohassomeapplicationprojects，which，however,containsvery little about the technical scenarios and specific designing．This paper,based on the latesttechn ology of Web Ar chive nad the latest cloud storagetechnoloyg,putsforwrad anew scenario suitable ofrhteWebAr chivena d htestoragetechnology ofChina． Key words：Web rachive；cloud storage；Web harvesting；Heritrix 0引言 信息博物馆 “是在国家973和985项 目支持下由北京 随着计算机网络的普及，网页成为信息重要的载 大学计算机系网络与分布式系统实验室开发建设的 体，特别是一些重要的历史性的网页信息会随着网页 中国网页历史信息存贮与展示系统 ，国内对网页归 的消失而丢失 ，这些信息一旦消失就难 以找回或复 档的研究与应用与国外差距比较大。而国内Web信 原，这样就会给一些部门和机构造成难 以估量的损 息的特殊价值和作用使得国内对这方面的研究和实 失。因此，研究如何对网页归档 、存储并回放就具有 践 日益重视。2014年 l1月国家档案局局长杨冬权在 重要的社会意义。目前，美国、加拿大、澳大利亚和瑞 会见阿里巴巴集团副总裁兼 “阿里云”总裁胡晓明及 典等国家的政府、档案馆和图书馆对网页归档的研究 其团队时，表示将尽快启动为各级国家政府网站网页 和实践应用比较多。国内对webArchive(网页归档) 存档工作，其中阿里介绍了 “阿里云”可以为国家电子 进行研究的项 目比较少 ，主要有 ：中国国家图书馆网 档案归档做云存储方面的一些工作 。所以，云存储 络信息资源保存实验 (webInformationCollection 对网页归档有着非常重要的作用。 andPreservation，WICP)和中国Web信息博物馆 (可 1国外的网页归档研究 访问http：／／www．infomal1．cn)两