面向政府的网络信息自动抓取的系统设计与实现-软件工程专业毕业论文.docxVIP

面 面 向政 府 的 网络 信 息 自动 抓 取 的 系 统 设 计 与 实 现 摘 要 m a C r o e C O f lo m 1 C d e m a n d : t h i r d p a r t . t h e d e s i g n o f s y s t e m ， s u b 一m o d u l e w a s d e s e r i b e d 1 n t h e s y s t e m d e s i g n a n d t h e o P e r a t i o n m o d e o f i n f o r m a t i o n P l a t f o r m n e t w o r k a n d o v e r a l l P r o g r a m f o r t h e g o v e r n m e n t : I V i m p l e m e n t a t i o n o f t h e s y s t e m . i m P l e m e n t a t i o n o f s o m e o f t h e p r o b l e m s w e r e d 1 s e u s s e d o n e b y o n e : t h e f i f t h P a r t o f t h e e o n e l u d i n g r e m a r k s s u n un a r i z e a b o u t a r t i e l e ， a n d g i v e s s o m e d i r e e t i o n s f o r i m P r o v e m e n t . K e 卿 o r d s In te rn e t， C r a w }e r ， W e b 一S P id e r， A JA X 面 向政 府 面 向政 府 的 网 络 信 息 自动 抓 取 的 系 统 设 计与 实 现 第 一 章 绪 论 第 一 章 绪 论 1. 1 研 究 背 景 与 选 题 意 义 随 着 互 联 网 的 飞 速 发 展 ， 工nter n et 己成 为 人 们 学 习 、工 作 、 生 活 中 最 重 要 的 知 识 和 信 息 来 源 之 一 。根 据 CNNI C 的 《第 17 次 中 国互 联 网络 发 展 状 况 统 计 报 告 》 [1〕，我 国 网 民 总 数 达 到 11 10 0 万 人 。 国 务 院 新 闻 办 公 室 主 任 王 晨 2 01 0 年 5 月 1 日作 《关 于 中 国 互 联 网 发 展 和 管 理 》专 题 讲 座 时 称 : 截 至 目前 ，中 国 网 民人 数 达 到 4 .04 亿 ; 互 联 网普 及 率 达 到 28 .9% ， 超 过 世 界 平 均 水 平 ， 使 用 手 机 上 网 的 网 民 达 到 2 .33 亿 人 ， 上 网 计 算 机 达 到 4 9 50 万 台 ， 网 站 总 数 达 6 9 4 2 0 0 个 。 互 联 网规 模 迅 猛 发 展 ， 并 突 显 出如 下 特 点 : · 信 息 量 大 且 分 散 · 自治 性 强 · 信 息 资 源 多 种 多 样 · 包 含 大 量 不 一 致 和 不 完 整 信 息 早 期 互 联 网 信 息 有 限 ，有 许 多 专 门用 于 导 航 的 索 引 页 ，并 逐 步 演 变 成 后 来 的 提 供 互 联 网 目录 的 网 站 (如 Y ah oo !) 。 此 后 互 联 网 发 生 了爆 炸 式 增 长 ， 这 样 的 单 一 分 类 方 式 面 对 浩 如 烟 海 的 互 联 网 显 得 无 能 为 力 ，并 且 更 新 缓 慢 。于 是 需 要 借 助 其 他 工 具 ， 常 见 的 有 : · 通 用 搜 索 引 擎 (如 Goo g le ， 百 度 ) · 针 对 特 定 类 型 信 息 的 垂 直 搜