搜索引擎系统的设计与实现.pptVIP

搜 索 引 擎 的 研 究 与 实 现 搜 索 引 擎 的 研 究 与 实 现 Search engine ’s research and implement Search engine ’s research and implement 沈 晨 沈 晨 2007.6 2007.6毕 业 设 计 的 意 义 毕 业 设 计 的 意 义 互 联 网 的 最 大 优 点 就 是 拥 有 海 量 的 互 联 网 的 最 大 优 点 就 是 拥 有 海 量 的 信 息 , 而 且 每 8 个 月 就 翻 一 倍 , 现 信 息 , 而 且 每 8 个 月 就 翻 一 倍 , 现 今 的 网 页 数 量 已 经 超 过 1 0 亿 。 要 想 今 的 网 页 数 量 已 经 超 过 1 0 亿 。 要 想 在 这 浩 如 烟 海 的 网 络 世 界 中 快 速 、 在 这 浩 如 烟 海 的 网 络 世 界 中 快 速 、 有 效 地 搜 索 信 息 , 就 不 能 离 开 现 代 有 效 地 搜 索 信 息 , 就 不 能 离 开 现 代 信 息 获 取 技 术 ? ? 搜 索 引 擎 信 息 获 取 技 术 ? ? 搜 索 引 擎毕 业 设 计 的 两 个 目 标 毕 业 设 计 的 两 个 目 标 1. 研 究www 搜 索 引 擎 的 系 统 结 构 , 并 重 1. 研 究www 搜 索 引 擎 的 系 统 结 构 , 并 重 点 对 网 络 机 器 人 、 索 引 与 搜 索 程 序 以 点 对 网 络 机 器 人 、 索 引 与 搜 索 程 序 以 及 用 于 查 询 的Web 服 务 器 三 个 方 面 进 及 用 于 查 询 的Web 服 务 器 三 个 方 面 进 行 详 细 分 析 。 行 详 细 分 析 。 2. 在 这 些 研 究 的 基 础 上 利 用Java TM 相 2. 在 这 些 研 究 的 基 础 上 利 用Java TM 相 关 技 术 和 一 些 开 源 工 具 包 实 现 一 个 简 关 技 术 和 一 些 开 源 工 具 包 实 现 一 个 简 单 的 搜 索 引 擎 ? ? 新 闻 搜 索 引 擎 单 的 搜 索 引 擎 ? ? 新 闻 搜 索 引 擎搜 索 引 擎 的 系 统 结 构 搜 索 引 擎 的 系 统 结 构 网 络 机 器 人 、 索 引 与 搜 索 程 序 、Web 查 询 服 务 器 网 络 机 器 人 、 索 引 与 搜 索 程 序 、Web 查 询 服 务 器 索 索 终 终 引 引 端 端 数 数 用 用 据 据 户 户 库 库 We b 服务器 We b 服务器 网络机器人程序 网络机器人程序什 么 是 网 络 机 器 人 什 么 是 网 络 机 器 人? 是 一 种 功 能 强 大 的Web 扫 描 程 序 。 可 以 通 过 是 一 种 功 能 强 大 的Web 扫 描 程 序 。 可 以 通 过 超 连 接 来 扫 描 所 有Web 页 面 超 连 接 来 扫 描 所 有Web 页 面扫 描 页 面 流 程 如 下 图 所 示 :扫 描 页 面 流 程 如 下 图 所 示 : 扫描页面 加入等待队列 加入运行队列 加入等待队列 扫描页面 加入等待队列 加入运行队列 加入等待队列 发 发 现 现U UR RL L 扫 描 结 束 发 发 现 现U UR RL L 循 环 扫 描 结 束 循 环Jeff Heaton 的Bot 开 发 包 Jeff Heaton 的Bot 开 发 包开 放 源 代 码 的 第 三 方 开 发 包开 放 源 代 码 的 第 三 方 开 发 包用Java 实 现 的 网 络 机 器 人 类 库用Java 实 现 的 网 络 机 器 人 类 库提 供 了 包 括 : 解 析HTTP 、 接 受Form 、 分 析提 供 了 包 括 : 解 析HTTP 、 接 受Form 、 分 析 Cookie 、 实 现Spider 等 若 干 类 Cookie 、 实 现Spider 等 若 干 类参 考 网 址 :http://参 考 网 址 :http:// 络 机 器 人 的 具 体 实 现 网 络 机 器 人 的 具 体 实 现? 首 先 构 造Spider 类 , 并 实 现IspiderReportable 首 先 构 造Spider 类 , 并 实 现IspiderReportable 接 口 接 口然 后 通 过 覆 盖 回 调 函 数 来 处 理 网 页然 后 通 过 覆 盖 回 调 函 数 来 处 理 网 页 具 体 代 码 如 下 : 具 体 代 码 如 下 : Public void processPageHTTP htt