一种基于Ajax的爬虫模型的设计与实现-杭州电子科技大学.PDF

第 27 卷第 1期　　　 计算机应用与软件 Vo.l27 No.1 2010 年 1月　　 ComputerApplicationsandSofwtare Jan.2010 Ajax 1 1 2 范轩苗 　郑　宁 　范　渊 1 (　 3 100 18 ) 2 (　 3 10035 ) 　　　Ajax技术给传统的爬虫带来了巨大的挑战, 为了能够提取出在 Ajax程序中 藏的WEB资源, 需要解决两大关键问题: JavaScript脚本解析和每 一次脚本事件触发后的页面状态信息的保存 提出一种适合 Ajax的爬虫模型, 在模型中设计了 一个嵌入的 脚本解析引擎和使用了有向状态图, 有效地解决了上述的两 个关键问题 实验结果显示该爬虫模型能够有效地提取出 Ajax程序中 的 藏资源 　　爬虫　 脚本解析引擎　有向状态图 DESIGNAND IMPLEMENTATIONOFACRAWLERMODELBASEDONAJAX 1 1 2 FanXuanmiao　ZhengNing　FanYuan 1 (SchoolofCompute,rHangzhouDianziUniversit,yHangzhou310018, Zhejiang, China) 2 (HangzhouDBAppsecurityInformationTechnologyCO., LTD, Hangzhou310035, Zhejiang, China) Abstrac　t　Ajaxtechnologybringstoagreatchallengeontraditionalcrawle.rInordertofindtheHiddenWebresourcemadebyAjax, two keyproblemshavetoberesolved:JavaScriptparsingandstoringeverypage sstateinformationaftereveryJavaScriptseventtriggered.Thepa- perpresentsacrawlermodelsuitableforAjax, inwhichanembeddedscript-parsingengineandadirectedstategraphicshavebeendesigned; ithaseffectivelysettledabovetwoproblems.TheexperimentalresultshowsthatthecrawlmodelcouldacquiretheHiddenWebresourceinthe Ajaxapplicationeffectively. Keywords　　 Crawler　 Script-parsingengine　 Directedstatusgraphics 0　　 1　 Web, Ajax, ( a) : Web, W eb Web, W eb Ajax, [ 1] , Hidden-web , , , [ 4] , :, 1.1　Ajax form,