网站数据采集原理及防范策略.pdfVIP

年第 期 52 福 建建福福 电电建 脑脑电 脑 2011 4 网站数据采集原理及防范策略 曾昭江 （ 肇庆工商职业技术学院 广东肇庆 526020 ） 摘 要 网站数据采集对于网站建设有其独特的需求和作用 本文介绍网站数据采集原理及防范数 【 】： ， 据被采集的各种方法 增加列表采集难度 防范内容页面的采集是常用的防采集策略 。 ， 。 关键词 网站网页内容数据采集网络信息资源防范采集采集与防采集 【 】： 0 、引言 随着计算机网络迅速发展， 已经成为一个 Internet 巨大的信息资源库 最常用的资源呈现和获取方式无 ， 疑是 方式 网站主为了片面地使网站在 Web 。 Internet 中拥有更多的数据量 通过使用采集工具或程序从其 ， 他网站中大量获取网站内容 网站数据采集主要是指 。 把某一网站的整站网页内容或部分网页内容批量抓取 到自己网站的一种技术手段 非法的网页内容采集 不 ， ， 仅使版权信息不能得到有效保护 而且在批量采集时 ， ， 尤其是含多媒体元素和软件的页面被采集时 会导致 ， 网站所在服务器负荷增大 正常用户的浏览速度下降 ， 。 但采取防采集措施有可能会对搜索引擎收录网站内容 有一定的影响 所以 了解网站采集原理 学会防范网 。 ， ， 站内容被采集是网站管理的必要工作。 1、网站采集原理 图 网站数据采集流程图 网站中 通常以栏目的方式对网站内容进行 1 ， Web 分类 栏目页中通常以列表的形式显示内容页的超链 网站防采集策略 ， 、 2 接 而内容页主要用于显示某一条具体内容 同一栏目 根据采集的方式和步骤 可以从两个方面来进行 ， ， ， 下的内容页通常都是采用某一模板或者基于某种动态 防范 增加列表采集难度 防范内容页面的采集 可以 ： ， 。 网页技术生成 再通过 或 格式展示 这些 通过技术手段 尽可能的把