一种新的网络爬虫带宽控制策略.pdf

网 络 与 通 信 中 文 核 心 期 刊 《 微 计 算 机 信 息》 ( 管 控 一 体 化 )2008 年 第 24 卷 第 11-3 期 文章编号:1008-0570(2008)11-3-0076-02 一种新的网络爬虫带宽控制策略 A Fast Iris Localization and Recognition Method （哈尔滨 工业 大学深圳研究生院 ） 孟 祥 乾 叶允 明 MENG Xiang-qian YE Yun-ming 摘要 网络 爬 虫 如 何 在 限 定 带 宽 的 条 件 下 进 行 爬 行 是 一 个 有 巨 大 应 用 价 值 的 问 题 但 是 目 前 对 这 个 方 面 的 研 究 较 少 本 文 ， ， : 提 出 了 一种 基 于 对 站 点 礼 貌 爬 行 的爬 虫 带 宽 控 制 策 略 通 过 对 不 同站 点 下 载 速 度 的 建 模 分 析 和 基 于 礼 貌 爬 行 的访 问频 率 ， 控 制 ，得 到 了面 向 站 点 的爬 行 控 制 算 法 ，最 后 实 验 证 明 这 种 方 法 能 够 充 分 利 用 所 限 定 的 带 宽 。 关键词 : 网络爬虫 ; 限定 带宽; 礼貌爬行 中图分类号: TP391.09 文献标识码: A Abstract: How to run under constrained bandwidth for web crawlers is of great applicant value, however, it has been seldom studied. This paper present a crawler bandwidth controlling policy based on polite crawling. The model of predict downloading speed of differ- ent sites is set up, and the maximum request frequency of sites are obtained based on polite crawling. Upon these, a site-based con- 技 trolling algorithm of crawling is presented. The experimental results prove effectiveness of it. Key words: Web crawler; bounded bandwidth; polite crawling 术 同 因此 无法 对 所 有 站 点 进 行统 一 处 理 需 要 对 每 个 站 点 下载 1 引言 ， ， 创 页 面时 产生的 流 量 和 带 宽进行 分 析 ，在此 基础上 才 可 以实现对 网络爬虫 （crawler ，spider ）是 一种 从 网络 上 自动下载 网页 的 整个 网络 负载 的精