一种Deep Web爬虫的设计与实现.pdfVIP

计 算 机 与 现 代 化 2009年第 3期 JISUANJIYU XIANDAIHUA 总第 163期 文章编号：1006-2475(2009)03-0031-04 一 种 DeepWeb爬虫的设计与实现 荣 光，张化祥 (山东师范大学信息科学与工程学院，山东济南250014) 摘要：随着WoddWideweb的快速发展，DeepWeb中蕴含了越来越多的可供访问的信息。这些信息可以通过网页上的 表单来获取 ，它们是由Deepweb后 台数据库动态产生的。传统的web爬 虫仅能通过跟踪超链接检索普通的Surface Web页面，由于没有直接指向Deepweb页面的静态链接 ，所以当前大多数搜索引擎不能发现和索引这些页面。然而，与 SurfaceWeb相比，Deepweb中所包含的信 息的质量更高，对我们更有价值。本文提 出了一种利用 HtmlUnit框架设计 Deepweb爬虫的方法。它能够集成多个领域站点，通过分析查询表单从后台数据库中检索相关信息。实验结果表明此 方法是有效的。 关键词：DeepWeb；Web爬 虫；表单 中图分类号：TP393 文献标识码：A DesignandImplementationofaDeepWebCrawler RONG Guang，ZHANG Hua-xiang (SchoolofInformationScienceandEngineering，ShandongNomralUniversity，Jinan250014，China) Abstract：AstheWoddWideWebgrowsrapidly，moreandmoredatabecomeavailableintheDeepWeb．Thedatacanbeob— tainedbysubmitingfomr intheWebpagesandarisedynamiclyfrom DeepWebdatbaase．TraditionalWebcrawleronlyCna re- trieveSurfaceWebpagebyfollowinghypedinks．SincethereisnostaticlinkstothehiddenWebpages，mostsearchenginesCna— notdiscoverandindexsuchpages．However，comparedtosurfaceWeb，theinfomr ationprovidedbyhiddenWebsitesisoftenof morehighqualiytnadCna bemorevalubaletous．AmethodofdesigningdeepWebcrawlerbyuseofHtmlUnitframeworkispro— posedinthispaper．Thecrawlerwhichintegrateseveral Websitescananalyzeform andfillthem automaticallytoretrieverelevnat infomr ationfrom thedatbaase．TheresultsofanumberofexperimentscarriedoutwithactualDeepWebsitesdemonstratetheac- curacyof htemethod ． Keywords：DeepWeb；Webcrawler；ofmr 正的数据库中，这些内容只有在被查询时才会 由Web 0 引 言 服务器动态生成页面把结果返 回给访问者，因此没有 随着WorldWideWeb的飞速发展，其中蕴含的 超链接指 向这些页面，这是和那些可以被直接访 问的 可供访问的信息量也在不断增