信息与文献书写WARC记录的使用、WARC记录示例、WARC文件大小及名称建议、压缩建议.pdfVIP

GB/T33994—XXXX/ISO28500:2017

附录A

（资料性）

书写WARC记录的使用示例

表A.1~表A.5列出了不同的使用示例，这些示例逐一展示了WARC文件及WARC记录可能生成的情

形，并且符合网络存档共同体的需求。

注：在网络收割的环境下，构成网站的文件将被存储在WARC文件的WARC记录中。根据网络收割流程配置，个网站的

不同部分可能不包含在一个单一WARC文件或一组WARC文件中，而可能散布开来连同其他收割的网站一起存储。

因此，为了给用户呈现整个网站的档案，存取软件或许需要从不同WARC文件的WARC记录中读取相关文件。外部

索引可用于加快存取速度。

其他用户可根据实际需要构想其他的示例，另外，这里每个示例采用的解决方案只作为样例，并不

是唯一可行方案。

各表的第一列描述示例及其不同的步骤。各表格的第二列显示产生的记录类型。在此仅说明最复杂

的命名字段，以便阐明这些字段的用法WARC-Type（必备字段）、WARC-Date（必备字段）、

WARC-Concurrent-To（可选字段），WARC-RefersTo（可选字段）。本文件中未提出其他必备或有用

的命名字段。注意：前提假设是，这些WARC记录都写在一个已经开放的WARC文件中，并包含有一个

‘warcinfo’记录。

表A.1示例1网络爬虫从互联网上获取

/u1_pic/2012/04/2012041916104024.JPG并写入WARC文件

示例描述

记录生成

日期：2007年10月24日10时14分22秒GMT

创建的WARC记录

WARC-Type:request

‘’

爬虫发送一个请求至服务器主机

WARC-Date:2013-10-11T01:26:10Z

/u1_pic/2012/04/2012041916104024.JPG

WARC-Concurrent-To:后面的‘response’记录的

WARC-Record-ID

创建的WARC记录

爬虫收到的来自服务器的响应WARC-Type:‘response’

WARC-Date:2013-10-11T01:26:10Z

创建的WARC记录

WARC-Type:‘metadata’

进一步描述收割过程的元数据/收割记录被添加（如，来自日志WARC-Date:2013-10-11T01:26:10Z

文件的信息）WARC-Concurrent-To:前面的‘response’记录的

WARC-Record-I