基于云存储网页归档方案研究.docVIP

基于云存储网页归档方案研究 　　摘 要： 目前美国、加拿大和澳大利亚等国的Web Archive（网页归档）技术和方案比较多，有些也比较成熟，部分已经成功应用。在我国也有网页归档的应用，但对采用的技术方案和具体工具的研究很少。结合国外的网页归档技术和最新的云存储技术，提出了一种适合我国的网页归档和存储的技术方案。 　　关键词： 网页归档； 云存储； Web采集； Heritrix 　　中图分类号：TP311 文献标志码：A 文章编号：1006-8228（2017）04-21-05 　　Abstract： At present， the United States， Canada and Australia possess the technology and scenarios of Web Archive， some of them are good enough to be put into practice. While China also has some application projects， which， however， contains very little about the technical scenarios and specific designing. This paper， based on the latest technology of Web Archive and the latest cloud storage technology， puts forward a new scenario suitable for the Web Archive and the storage technology of China. 　　Key words： Web archive； cloud storage； Web harvesting； Heritrix 　　0 引言 　　?S着计算机网络的普及，网页成为信息重要的载体，特别是一些重要的历史性的网页信息会随着网页的消失而丢失，这些信息一旦消失就难以找回或复原，这样就会给一些部门和机构造成难以估量的损失。因此，研究如何对网页归档、存储并回放就具有重要的社会意义。目前，美国、加拿大、澳大利亚和瑞典等国家的政府、档案馆和图书馆对网页归档的研究和实践应用比较多。国内对Web Archive（网页归档）进行研究的项目比较少，主要有：中国国家图书馆网络信息资源保存实验（Web Information Collection and Preservation，WICP）和中国Web信息博物馆（可访问http：//）两个项目，且中国国家图书馆网络资源保存实验不完全针对网页归档，其主要研究是对电子资源的一个保存归档，只有“中国Web信息博物馆“是在国家973和985项目支持下由北京大学计算机系网络与分布式系统实验室开发建设的中国网页历史信息存贮与展示系统[1]，国内对网页归档的研究与应用与国外差距比较大。而国内Web信息的特殊价值和作用使得国内对这方面的研究和实践日益重视。2014年11月国家档案局局长杨冬权在会见阿里巴巴集团副总裁兼“阿里云”总裁胡晓明及其团队时，表示将尽快启动为各级国家政府网站网页存档工作，其中阿里介绍了“阿里云”可以为国家电子档案归档做云存储方面的一些工作[2]。所以，云存储对网页归档有着非常重要的作用。 　　1 国外的网页归档研究 　　2012年11月，美国国家数字信息基础设施保存计划（NDIIPP）发布了一份《处于危险中的科学：构建在线科学内容保存的国家战略》报告[3]，明确将在线科学内容保存提升成为美国国家战略。美国进行Web Archive（网页归档）最早的项目之一是IA（Internet Archive，因特网档案馆），这个项目是由一个非盈利组织领导建设的，其长期存储并对公众免费公开，所存储的资源类型比较多，有网页、音乐、动画和其他电子资源等。1996年其开始保存网页资源，2001年对公众开放，其开发了网页回放器（way back machine）。IA是目前美国最大的网页归档的项目，其在国际互联网保存联盟（International Internet Preservation Consortium，IIPC）的框架下，与许多政府和图书馆等进行紧密的合作。美国IA项目的采集策略是广泛采集，就是使用采集软件遍历URL，但有时它也对某些突发问题进行专项采集或广泛采集和专项采集相结合的方式进行[4]。其采用的采集软件是Heritrix，该软件是专门的网页采集归档软件，其采用JAVA语言开发，并且是开源的，我们可以从其官网下载（http：///projects/ 　　archive-crawler/），它有封包