基于爬虫的智能爬行算法研究.PDFVIP

第３５卷第１１期　　　 计算机应用与软件 Ｖｏｌ３５Ｎｏ．１１ ２０１８年１１月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ｎｏｖ．２０１８ 基于爬虫的智能爬行算法研究 侯美静　崔艳鹏　胡建伟 （西安电子科技大学网络与信息安全学院　陕西西安７１００００） 摘　要　　为了提高漏洞巡检的效率，过滤掉大部分结构相似的网页，提出一种智能爬行算法。对爬取过程中 ＵＲＬ去重，丢弃重复的ＵＲＬ；计算两个ＵＲＬ对应页面的相似度值，具体是将页面解析成ＤＯＭ树，根据节点的位 置、ＤＯＭ树的深度以及深度相同的节点数量，将权重分配给每个节点，再根据给定的公式计算网页的相似度；以 相似度为基础，使用聚合式层次聚类思想将具有相似结构的网页聚为一组，每组只留下一个网页，达到去除大部 分结构相似的网页的目的。实验结果表明，该智能爬行算法可以有效地减少结构相似的网页，提高漏洞巡检系统 的巡检效率。 关键词　　爬虫　智能爬行算法　ＵＲＬ去重　相似度　聚类 中图分类号