基于JavaScript切片的AJAX框架网络爬虫技术研究.pdf

2009年第7期 计算机系统应用 avaScri 基于J pt切片的AJAX框架网络 爬虫技术研究① WebCrawler of FrameBasedon AJAX Technology JavaScriptSlicing 曾伟辉1,2李淼l(1．中国科学院合肥智能机械研究所安微合肥230031： 2．中国科学技术大学信息科学技术学院自动化系安微合肥230027) 摘要： 自JesseJames 在客户端安装插件。因此，一经提出就引起了互联网领域的广泛关注。但目前的网络爬虫技术在～AX 框架的URL解析过程中存在着不能够识别事件触发顺序等问题。导致大量数据不能被搜索引擎有效检 索。本文针对此问题，通过研究基于对象的程序切片算法。以及脚本执行引擎与切片模块的互操作， 最终解决～AX框架中URL提取以及异步JavaScript网络爬虫系统的关键技术问题。 关键词：JavaScript程序切片网络爬虫有限状态机AIAX 1 引言 程序切片(Program A,IAX[U是2005年JesseGarrett在一篇序P中某一点状态的所有语句和断言的集合。程序切 James New toWeb 名为Ajax：A 片实际上是得到了程序P的一个有效子集，而省略了 ApproachApplica— tions的文章中定义的一种客户端技术，它建立在其他不相关代码，降低了代码执行的时间和空间复杂 Weiser提出 JavaScript和XML基础上，真正实现了RIA(Rich度。程序切片技术【4，5l从1979年Mark Internet Applications，丰富互联网应用程序)，克服以来在国内外已引起了人们的关注，目前已经有了许 了其它RIA技术需要在客户端安装插件才能够实现动 多切片工具。国外的研究有支持C语言的Wisconsin 态交互的弱点。同时，～AX极大地提高了用户的交互 程序切片工具version 体验。因此，NAX一经提出，就被网站开发人员大规 Oberon 模采用，各种AJAX框架如GWT，Atlas，Dojo也应 Slicing LinzOberon Indus；基于Oberon语言的The 运而生。但～AX站点中包含大量Javascript代码， tool、 对于RIA中JavaScript脚本的处理，国内外的研究是 slicing SlicingSystem，以及Microsoft’s 采用标准浏览器API自动构建迷你浏览器替代web浏 览器(如IE)处理脚本执行代码【2】。中国科学院计算技术京大学、东南大学等，他们组成的程序切片研究小组 研究所在Mozilla开源的JavaScript引擎开发的基于分层切片模型的面向Java程序切片工具， SpiderMonkey下，通过构造浏览器内置对象的方法目前已经用于OOPQL语言环境中提供相关程序的切 提取动态网页的URL[31，但这些方法都