JavaSript引擎在动态网页采集技术中的应用.docVIP

JavaScript引擎在动态网页采集技术中的应用? ?本文受国家“九七三”基础研究发展规划项目基金（G1998030413）和中科院计算所领域前沿青年基金8）资助 王映(WANG Ying) 于满泉(YU Man-quan) 李盛韬(LI Sheng-tao) 王斌(WANG Bin) 余智华(YU Zhi-hua) （中国科学院计算技术研究所 软件研究室大规模内容计算研究组,北京100080） (中国科学院研究生院, 北京, 100039) E-mail: {wangying, yumanquan, lishengtao,yzh}@ ,wangbin@ 中图法分类号 TP391 文献标识码① 摘要：怎样提取网页中由JavaScript脚本动态生成的URL，一直是网页采集器设计的一个难题，本文给出了一个基于JavaScript引擎的通用的解决办法和我们的模块实现以及测试结果。 关键词：网页采集，JavaScript引擎，URL提取，SpiderMonkey Abstract: How to extract URLs that are dynamically created by JavaScript code in web pages? In this paper, we present a general solution exploiting a JavaScript engine named SpiderMonkey. We also describe our module implementation and give some experimental results. Keywords: web retrieval, JavaScript engine, URL extraction, SpiderMonkey 动态网页采集需要JavaScript引擎 整个Internet是一张通过超链接连接起来的巨大的网，给定一定数目的网站(或者网页)的URL作为“种子”，分析这些URL的页面文件，从中提取超链接得到新的URL，再分析新的URL的网页...一直到遍历完整个Internet，这便是网页采集器工作的基本原理。根据网页中是否含有浏览器端执行的脚本，可以将网页分为动态页面和静态页面。静态页面中的URL直接以HTML超链接的方式嵌在HTML文件中，我们把这种URL称为静态URL(或静态链接)，而动态页面中除了静态URL，还含有大量必须通过执行浏览器端脚本才能得到的动态URL(动态链接)。目前Internet上占统治地位的浏览器端脚本语言是JavaScript语言。由于脚本语言编程易学易用，能产生丰富多彩的动态页面，JavaScript语言被广泛使用于网页编程。 静态URL通过分析页面文件的HTML超链接标记能够比较容易地提取出来。对于动态URL，在页面文件里的实际上只是一段段的脚本代码，可能根本就没有HTML标记，因此不能通过分析超链接标记的方法得到。获取动态URL的难点在于脚本代码的可编程性：URL由脚本语言计算得到，脚本语言是由网页制作人员编写的，不同的网站编写的脚本千变万化。目前大部分的网页采集器都不能提取动态URL，个别采集器能针对特定网站的简单JavaScript代码提取动态URL。而通用的解决办法只有一个，就是用脚本分析引擎去真正执行脚本代码，这样无论网页中的脚本程序多么复杂，都能得到正确结果。 本文的第2节简要介绍了JavaScript语言和SpiderMonkey引擎，第3节详细介绍了我们利用SpiderMonkey来提取动态页面中的URL的思路并描述了我们的模块实现，第4节给出了一些测试结果。 JavaScript引擎简介 JavaScript引擎是指能够分析和执行JavaScript语言程序的虚拟机器，也可称之为JavaScript分析器。如果从头构造一个JavaScript引擎，包括词法分析，语法分析，解释执行等步骤，那将是个非常复杂的过程，本身就可以写一本书介绍。幸运的是，开放源码的JavaScript引擎SpiderMonkey给我们提供了一个最基本的并且易于扩展的JavaScript分析器。这一节首先简要介绍JavaScript语言的历史及其基本语法特征，然后介绍SpiderMonkey的运行原理。 JavaScript语言简介 脚本语言JavaScript的语句一般都嵌在网页的HTML语句当中，由网页浏览器解释执行。JavaScript为提高网页和用户的交互性而设计，在网页中使用JavaScript代码，可以使用户和网页进行一些较简单的交互操作而不必和web服务器通信，从而一方面可以减少网络通信流量，另一方面脚本在本地执行后迅速将结果返回给用户，提高了交互的实时