基于开源爬虫wget的网络资源自动获取技术研究.pdfVIP

第32卷 第 l2期 核电子学与探测技术 V01．32 No．12 2012年 12月 NuclearElectronics DetectionTechnology Dec 2012 基于开源爬虫wget的网络资源 自动获取技术研究 许朝阳，刘俊民，商杰，盖磊，刘琳琳，石建芳，许进 (禁核试北京国家数据中心，北京 100085) 摘要：在剖析开源爬虫wget这一获取网络资源工具功能的基础上，研究了网络资源 自动获取技术 ， 并以获取美国国家海洋和大气管理局网站网络资源为例介绍 了自动获取过程。经过较长时间测试和实 际应用，表明该 自动获取技术方法切实可行。 关键词：开源爬虫；wget；网络资源 ；自动获取 中图分类号：TP393．09 文献标志码： A 文章编号 ：0258-0934(2012)12—1406-03 随着互联网技术的发展，在互联网上发布 用户一直的参与，这避免了极大的麻烦。wget 的资源越来越丰富。软件技术的发展，使人们 可以跟踪 HTML页面上的链接依次下载来创 获取互联网资源的方式也越来越方便快捷。国 建远程服务器的本地版本，完全重建原始站点 家数据中心为了开展大气输运等相关研究工 的目录结构，这又常被称作 “递归下载” 。在 作，需要及时获取互联网上公开发布的气象数 递归下载的时候，wget遵循 RobotExclusion标 据。为此，有必要对互联网上网络资源 自动获 准。wget还可以在下载的同时，将链接转换成 取技术进行研究。 指向本地文件，以方便离线浏览。wget非常稳 定，它在带宽有限的情况下和网络不稳定时有 1 开源爬虫wget 很强的适应性。如果是由于网络的原因下载失 GNUwget是一个在 GPL许可下，使用 c 败，wget会不断地尝试，直到整个文件下载完 语言编写的命令行式的爬虫。它主要用于网络 毕。如果是服务器打断下载过程，它会再次连 服务器和 门P服务器的镜像 ¨J。同时它是一 接到服务器上从停止的地方继续下载，这对从 个从互联网上获取网络资源的自由工具，它支 那些限定了链接时间的服务器上获取大文件非 持HTIP，HTIPS和 FvrP协议，可 以使用 H1TrP 常有意义。wget具备一个检测网络资源是否存 代理。所谓 自动获取，是指 wget可以在用户退 在的功能，使用该功能可以在检测到待获取的 出系统之后在后台运行。这意味着用户可以登 网络资源时，立刻近实时地获取资源，保障数据 录系统，启动一个wget下载任务，然后退出系 的及时性。同时，wget还支持断点续传的功能， 统，wget将在后台执行 。直到下载任务完成，相 此功能可以保障数据获取的完整性 。 对于其它大部分浏览器在下载大量数据时需要 2 网络资源自动获取技术 收稿 日期 ：2012—06—26 根据美国国家海洋和大气管理局(National 作者简介：许朝阳(1977一)，男 ，河南人 ，禁核试北京 OceanicandAtmosphericAdministration，NOAA) 国家数据中心工程师，硕士，主要从事禁核试核查方 网站上每天发布的气象数据资料的数量，结合 面的研究。 国家数据中心开展相关研究工作的需求，需要 1406 定期及