动态网页信息提取技术在求职搜索中的应用.pdfVIP

第33卷 第24期 计 算 机 工 程 2009年 12月 December2009 Vo1．33 No．2 ComputerEngineering ·开发研究与设计技术 · 文章编号：l0o_-3428(20o9)24一l265—3 文献标识码：A 中图分类号：TP393．09 动态网页信息提取技术在求职搜索中的应用 方 宏 ，吕太之 (1．江苏海事职业技术学院信息工程系，南京 211170；2．南京理工大学计算机科学与技术学院，南京 210094) 摘 要：针对传统搜索引擎难以提取客户端脚本生成信息的问题，结合求职搜索引擎的研发，运用HtmlUnit解析JavaScript动态网页，使 用SeleniumIDE提取动态元素的XPath，解决传统搜索引擎难以提取客户端动态生成信息的问题。实验结果证明，该技术是行之有效的。 关健词：动态网页；信息提取 ；求职；搜索 ApplicationofDynam icW ebPageInformationExtraction TechnologyinSeeking-jobSearch FANG Hong．LV Tai-zhi r1．DepartmentofInformationEngineering．JiangsuMarltimeInstitute．Nanjing21l170； 2．CollegeofComputerScienceandTechnology，NanjingUniversityofScienceandTechnology，Nanjing210094) [Abstract]AimingattheproblemthatusingthescriptofWebpagewidely，thetraditionalsearchengineisdifficulttoextracttheinformation，this paperusesHtmlUnittointerpretJavaScriptdynamicWebpage，andusesSeleniumIDEtoextractXPathofdynamicelement，theseeking-jobsearch engineextractssuccessfullytheinformationofWebpageproduceddynamically．Experimentalresultsshow thatthistechnologyisusefu1． IKeywords]dynamicWebpage；informationextraction；seeking-job；search 1 概述 JavaScript支持 良好(使用Rhino作为解释器)，支持AJAX， 随着AJAX技术的广泛应用，越来越多的网页中包含了 支持与页面元素的交互(如点击链接、提交表单、输入文本 浏览器可执行脚本，网页中许多信息需要在客户端执行脚本 等)，符合W3C的HTMLDOM实现，支持XPath，对不合法 并与之交互后才能得到，这不同于服务器端根据请求动态生 HTML能有效处理，能模拟 IE和FireFox浏览器。本文通过 成的网页(其内容在发到浏览器时，实际上已固定)，本文将 对其定制，将其整合进 nutch2[1搜索引擎中，实现了对AJAX 此类需要在客户端执行脚本才能获取相应信息的网页称为客 网页的解析。 户端动态网页(以下简称动态网页)。 Selenium131是一个开源的 Web应用功能和验收测试工 动态网页信息提取首先要解析页面，然后才能抽取结果