网络爬虫性能研究.pdfVIP

Networkand Communication 网络爬虫性能研究 漆志辉 ，杨天奇 (暨南大学 信 息科学技术学院 计算机系，广东 广州 510632) 摘 要 ：受到学习模型爬虫的启发 ，主题爬 虫结合 网页内容和链接信 息来估计 网页对给定主题 的相 关性 ，得到两个新型的爬 虫变种。新型爬 虫强调 的不仅是有 学习相关网页内容的能力 ，而且有 引 向相关网页的能力，并且在查找特定主题方面的能力有质的提高。 关键词 ：主题爬 虫；学习型爬 虫；学 习型主题爬 虫 中图分类号 ：TP301 文献标识码 ：A 文章编号 ：1674—7720(2011)05—0072-03 Research ofthe function ofnetwork crawlers QiZhihui，YangTianqi (DepartmentofComputer，Institute ofInformationScience andTechnol