基于模拟退火算法的主题爬虫.pdfVIP

9 Vo1．19 No．12 第 卷_年年第12月期 计算机技术与发展 2009 ∞ M 兀ERTEa删 oGY ANDDEVEL0PMENr Dec． 2009 基于模拟退火算法的主题爬虫 贺 晟 ，程家兴 ，蔡欣宝2 (1．安徽大学计算智能与信号处理教育部重点实验室，安徽 合肥 230039； 2．苏州大学 智能信息处理及应用研究所，江苏 苏州 215006) 摘 要 ：主题爬虫是主题搜索引擎的基础与核心，主题爬行策略的好坏直接影响搜索结果。为了搜索到更多相关的网页， 通过利用模拟退火机制选择下一步要访问的链接，使那些蕴含 “综合价值”高的链接在搜索初期有机会被选中，同时利用 “隧道技术”扩大相关网页的搜索范围。计算链接价值时，综合考虑了链接所在页面内容的价值和链接提示文字的价值 ， 根据它们对链接价值的影响程度不同，分别赋予它们不同的权值。实验证明，该方法对提高网页覆盖率和准确率都有很 好的效果。 ． 关键词：模拟退火算法 ；隧道技术；召回率 中图分类号：1]P393 文献标识码 ：A 文章编号：1673—629X(2o09)12—0055—04 FocusedCrawlerBasedon SimulatedAnnealAlgorithm HESheng ，CHENGJia-xing，CAIXin—bao2 (1．MinistryofEdu．，KeyLab．ofIntelligentComputing SignalProcessing，AnhuiUniv．，Hefei230039，China； 2．InstituteofIntelligentInfommtionProcessingandApplication，SoochowUniversity，Suzhou215006，China) Abstract：Focusedcrawleristhecoreandfoundationofthetopic—specificsearchengine．Specialcrawlingstrategyqualitygivesadirect impactonsearchresults．Inorderto,selectl-florarelevnatpages，throughusingthesimulatedannealing mechanism tochoosethenextlink tovisit。makes thosehigh o‘‘vreallvalue”linkhavetheopportunitytobeselcetde earlyinthesearch，nadusing “Tunneling ”tObroaden thes．earchingscope．Whencalculating thelinkvalue，considre thevalueofthepagecontentnadthelinktextsynchronously，nadaccording theirdifferentimpacttothelinkvalue，givesthem diffreentweight．Experimentsindicatethatthemethodhasagoodeffcetiveness． Keywords：simulatedannealalgorithm；tunneling ；recallfraction 0 引 言 中，网络爬虫以何种搜索策略访 问Web以提高效率 ， 随着 Intemet的飞速发展，网络上的信息更是成 是近年来主题搜索引擎研究中的热点问题。在制定主 指数