Deep Web爬虫爬行策略研究.pdf

VO1 ． 27第 1 7期NO．17计算机 工程与设计Co mp u t e rE n g i n e e r i n ga n dDe s i g n2 0 0 6年 9月Se p t ．2 0 0 6De e pWe b爬虫爬行策略研究郑冬冬 ，崔志 明( 苏州大学 智能信息处理及应用研究所，江苏 苏州 2 1 5 0 0 6 )摘 要： 如今 We b上越来越 多的信息可以通过查询接 口来获得， 为了获取某D e e pWe b站点的页面用户不得不键入一系列的关键词集。由于没有直接指向De e pwe b页面的静态链接 ， 当前大多搜索引擎不能发现和索引这些页面。然而， 近来研究表明D e e p we b 站点提供的高质量的信息对许多用户来说是非常有价值。 这里研究了怎样建立起一个有效的De e p we b爬虫， 它可 以 自动发现 和 下载 De e pwe b页面。 由于 De e pwe b惟一 “ 入 口点”是查 询接 口， De e pwe b爬 虫设计 面对 的主要 挑 战是怎 样对查询接 口自动产生有意义的查询。这里提 出一种针对查询接 口查询 自动产生问题的理论框架。通过在实际 D e e pWe b站点上的实验证明 了此方法是非常有效的。关键词： D e e pWe b ；D e e pwe b 爬虫；查询选择；查询效能；适应性爬行算法中图法分类号： T P 3 9 3文献标识码： A文章编号： 1 0 0 0 — 7 0 2 4 ( 2 0 0 6 ) 1 7 — 3 1 5 4 — 0 5Onr e s e a r c ho fd e e pwe bc r a wl e r ’ Sc r a wl i n gs t r a t e g yZHENG Do ng — d ong，CUIZhi — mi n g( I n s t i t u t eo fI n t e l l i g e n tI n f o r ma t i o nP r o c e s s i n ga n dAp p l i c a t i o n ，S o o c h o w Un i v e r s i t y ,S u z h o u215 0 0 6 ，Ch i n a )Abs t r a c t ：Asa ne ve r - i n c r ea s i nga mo un tofi nf or ma t i ono n t hewe bt od a yi Sa va i l a bl et h r o ug hs e a r c h i n t e r f a c e s ． u s e r sha vet o ke yi nas e to fke y wo r dsi nor d e rt oa c c e s st h epa ge sf r om c e r t a i nwe bs i t e s ，whi c h a r eof te nr e f e r r e dt oa st hehi d de nwe bo rt h ede e pwe b． S i n c et h e r ei sn os t a t i cl i n k st ot h eh i d d e nwe bp a g e s ， s e a r c he n g i n e sc a n n o td i s c o v e ra n di n d e xs u c hp a g e s ． Ho we v e r ， a c c o r d i n gt or e c e n ts t u di e s ， t hec o nt e ntpr o vi de dbyma nyhi d de nwe bs i t e si sof te nof ve r yh i g h q ua l i t y a n d c a nb ee xt r e me l yva l u a bl et oma nyu s e r s ．Howt ob ui l da ne f fec t i vehi d de nwe bc r a wl e rt h a tc a na u t o no mou s l y di s co ve ra n d do wn l o a dp a ge sf r o m t heh i d de nwe bi ss t ud i e d． S i n c et heo nl y’ ’ e n t r ypoi n t ”t oahi dd e nwe bs i t ei saq ue r y i nt e r f a c e ， t hema i nc ha l l e n get