Deep Web数据源聚焦爬虫.pdf

1 7 o L3 4第7期o ． 7计 算 机 工 程Compu t e rEn ne e r i ng2 0 0 8年4月Apr il 2 0 08· 软件技术与数据库 ·文章编号：1 0 0 0 —3 4 2 8 ( 2 0 0 8 ) 0 7 — 0 0 5 6 — 一 l 3文献 标识码：A中图分类号：T P 3 1 1De e pWe b数据 源聚焦爬 虫林 超，赵朋朋，崔志明( 苏州大学智能信息处理及应用研究所，苏州 2 1 5 0 0 6 )摘 要：I n t e r n e t 上有大量页面是由后台数据库动态产生的，这部分页面不能通过传统的搜索引擎访问，被称为 De e pWe b 。数据源发现是大规模D e e pWe b数据源集成的关键步骤。 该文提出一种针对D e e pWe b 数据源的聚焦爬行算法。 在评价链接重要性时， 综合考虑了页面与主题的相关性和链接相关信息。实验证明该方法是有效的。关键词：De e pWe b数据源；聚焦爬虫；贝叶斯分类器De e pW e bSo ur c e sFo c us e dCr a wl e rLI N Cha o， ZHAO Pe ng - pe ng，CUIZhi - r ui ng( I n s t i t u t eo fI n t e l l i g e n tI n f o r ma t i o nP r o c e s s i n ga n dAp p l i c a t i o n ， S u z h o uUn i v e r s i t y ， S u z h o u2 1 5 0 0 6 )[ Ab s t r a c t IA l o to fp a g e so nI n t e r n e ta r eg e n e r a t e dd y n a mi c a l l yb yt h eb a c k - e n dd a t a b a s e s ， w h i c hC a n n o tb er e a c h e db yt h et r a d i t i o n a ls e a r c he n g i ne sc a l l e dDe e pWe b． Th i sp a pe rp r o p o s e sa na l g o r i t h m o fDe e pWe bs o u r c e sf o c u s e dc r a wl i n g ． Wh e ne v a l u a t i n gt hei mp o r t a n c eo fh y pe r l i n ks ，i tt a k e si n t oc o n s i d e r a t i o nr e l e v a n c ea mo n gp a g e ， t o p i c ， a n dl i n k - r e l a t e di n f o r ma t i o n ． Ex p e r i me n t si n d i c a t et h a tt h i sme t h o di se f f e c t i v e ．[ Ke yw o r d s ID e e pWe bs o u r t e s ； f o c u s e dc r a wl e r ； Ba y e sc l a s s i f i e r近几年，We b正在迅速地 “ 深化”l J。l n t e r n e t 上有大量页面是由后台数据库动态产生的，这部分信息不能直接通过静态链接获取，只能通过填写表单提交查询来获取。由于传统的爬虫( c r a w l e r ) 不具有填写表单的能力，爬不出这些页面。因此，现有的搜索引擎搜索不到这部分页面信息，从而导致这部分信息对用户是隐藏和不可见的，称之为 D e e pWe b ( 又称为 I n v i s i b l eWe b ， Hi d d e nWe b ) 。研究表明，网络上至少有4 30 0 0 9 60 0 0个 De e pWe b站点，D e e pWe b页面信息是S u r f a c eWe b信息的5 5 0倍 。实现大规模 De e pWe b数据源集成是方便用户使用 D e e pWe b信息的一个有效途径。大规模 D e e pWe b数据源集成包括：数据源发现，查询接 口抽取，数据源分类，查询转换，结果合成 5个关键问题。其中，数