基于分层结构保留的增量网络爬虫算法-计算机应用研究.PDFVIP

第３０卷第８期 计 算 机 应 用 研 究 Ｖｏｌ３０Ｎｏ８ ２０１３年８月　 ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓ Ａｕｇ２０１３ 基于分层结构保留的增量网络爬虫算法 １ａ，２ａ ３ ２ｂ ２ｂ １ｂ 胡廉民 ，张泽斌 ，徐威迪 ，黄　翰 ，李　英 （１．乐山师范学院ａ．物理与电子工程学院；ｂ．数学与信息科学学院，四川 乐山６１４０００；２．华南理工大学ａ．计 算机科学与工程学院；ｂ．软件学院，广州５１０００６；３．Ｏｒａｃｌｅ甲骨文研究开发中心（深圳）有限公司，广东深圳 ５１８０７５） 摘　要：为了提高目前爬虫算法抓取结果的有效性，提出了一种旨在获取有效信息的改进网络爬虫算法，主要 设计了信息的分层结构保留策略和ＵＲＬ过滤模式。在改进算法中，网络资源定位符被分层存储，在保留信