主题Deep Web爬虫框架研究.pdfVIP

计算机工程与设计 ComputerEngineeringandDesign 2010，31(5) 929 ·信息化技术 · 主题DeepWeb爬虫框架研究 黄聪会 ， 张水平 ， 胡 洋 (空军X-程大学 电讯工程学院，陕西 西安710077) 摘 要：为满足用户精确化和个性化获取信息的需要，通过分析Deepw_eb信息的特点，提 出了一个可搜索不同i~DeepWeb 信息的爬虫框架。针对爬虫框架中DeepWeb数据库发现和DeepWeb爬虫爬行策略两个难题 ，分别提 出了使用通用搜索引擎 以加快发现不同主题的DeepWeb数据库和采用常用字最大限度下载DeepWeb信息的技术。实验结果表明了该框架采用的 技术是可行 的。 关键词：深网；爬虫；搜索引擎；信息抽取；常用字 中图法分类号：TP311 文献标识码：A 文章编号：1000—7024(2010)05-0929—03 Researchforframeworkofsubjectdeepwebcrawler HUANG Cong—hui， ZHANG Shui—ping， HU Yang (InstituteofTelecommunicationEngineering，AirForceEngineeringUniversity,Xi’an710077，China) Abstract：Tosatisfypeople’Sdemandforgettingpreciseandpersonalinformation，characteristicsofdeepwebinfomr ationraeanalyzed， anda~ameworkofcrawlerforsearchingdifferentsubjectinformationindeepwebisputforward．Tosolvethedi伍cultproblemsofdeep webdatabasediscoveryanddeepwebcrawlercrawlingstrategy,thetechnologiesofdiscoveringdifferentsubjectde印webdatabase quicklytousetheuniversalsearchenginena ddownloadingdeepwebinformationtotheutmostbyadoptingthecommonlyusedChinese chraactersareproposedrespectively．Atlasttheexperimentshow thatthe~ameworkiscorrect，andthetechn ologiesarefeasible。 Keywords：deepweb；crawler；serachengine；inofrmationextraction；commonlyusedChinesecharacters 0 引 言 1 主题DeepWeb爬虫框架 中的关键 问题及其 通用搜索引擎已成为人们定位所需welb资源的利器，然 解决方案 而随着 Web技术的发展和人们对通用搜索引擎需求的精细 DeepWeb信息大多隐藏在其后台数据库中，用户只有通 化，通用搜索引擎 已越来越不能满足人们 日常的搜索需要。 过网站提供的查询接 口才能访 问其信息。因此主题DeepWeb 一 方面，由于动态网页技术的出现与广泛使用，由Web数据库 爬虫除了能够从因特网上发现给定主题的数据库之外，还应 动态产生链接生成的网页，即DeepWeb信息，已经远远超过 能利用DeepWeb网站提供的查询接 口，检索DeepWeb数据 静态网页所拥有的信息，且此类信息质量高、价值大、主题鲜 库，最后从返回的结果网页中抽取 出结构化的DeepWeb信 明，只是由于通用搜索引擎的网络蜘蛛是通过网页链接来捕 息。针对这些 问题，本文提出一个主题DeepWeb爬虫框架， 获网页，所以没有得到有效利用