一种基于Ajax的爬虫模型的设计与实现.pdfVIP

第27卷第 1期 计算机应用与软件 V01．27No．1 2010年 1月 ComputerApplicationsandSoftware Jan．2010 一 种基于Ajax的爬虫模型的设计与实现 范轩苗 郑 -7 范 渊 (杭州电子科技大学计算机学院 浙江 杭州 310018) (杭州亚龙信息科技有限公司 浙江 杭州 310035) 摘 要 Ajax技术给传统的爬虫带来了巨大的挑战，为 了能够提取出在Ajax程序 中隐藏的WEB资源，需要解决两大关键问题： JavaScript脚本解析和每一次脚本事件触发后的页面状态信息的保存。提出一种适合ajax的爬虫模型，在模型中设计了一个嵌入 的 脚本解析引擎和使用了有向状态图，有效地解决了上述的两个关键17题。实验结果显示该爬虫模型能够有效地提取 出Ajax程序 中 的隐藏资源。 关键词 爬虫 脚本解析引擎 有 向状态图 DESIGN AND IMPLEMENTATIoNOFA CRAWLERMoDELBASED ON AJAX FanXuanmiao ZhengNing FanYuan (SchoolofComputer，HangzhouDianziUniversity，Hangzhou310018，Zhejiang，China) 。(HangzhouDBAppsecurityInformation c^∞f哪 CO ，LTD，Hangzhou310035，Zhejiang，China) Abstract Aj_dxtechnologybringstoagreatchallengeontraditionalcrawler．InordertofindtheHiddenWebresourcemadebyAjax，two keyproblemshavetoberesolved：JavaScriptparsingandstoringeverypage’SstateinformationaftereveryJavaScript’Seventtriggered．Thepa— perpresentsacrawlermodelsuitableforAjax，inwhichanembeddedscript—parsingengineandadirectedstategraphicshavebeendesigned； ithaseffectivelysettledabovetwoproblems．TheexperimentalresultshowsthatthecrawlmodelcouldacquiretheHiddenWebresourceinthe Aja)(applicationeffectively． Keywords Crawler Script—parsingengine Directedstatusrgaphics 0 引 言 传统爬虫方式受到的挑战 传统的Web开发利用超链接和表单来定位资源 ，因此爬虫 传统爬虫在对于Ajax的网站进行爬行受到巨大的挑战，主 可以利用特定标记 (例如标签 a)或者正则表达式静态地获取 要体现在两个方面：一个是由于脚本使 Web资源不可见，另一 Web资源。但是随着Web技术的发展 ，一些Web资源被隐藏了 个是由于Ajax网站的自身结构特征导致 ，所有交互更新均发生 起来，这些资源被称为Hidden—web”，在提取隐藏资源面前，传 在同一个页面上，无法有效地定位每一次更新后页面的状态 统的爬虫已经变得无能为力。根据文献 [4]提出的观点 ，可以 信息。 将隐藏资源分为两种 ：基于服务端的资源和基于客户端的资源， 1．1 Ajax资源的不可见性 第一种隐藏资源是针对隐藏