基于Nutch的搜索系统的研究-软件工程专业论文.docxVIP

目录 目录 目 录 第 一 章 绪 论 .”二”“.”.””.””””“.““…””“.”””二””“””“二”…“二“二“…”.…”.””.“二“”…. ”“”.1 1.1 搜 索 引擎简介 ·······················……1 1.1.1 什 么是搜 索 引擎 ··.·.·······························……1 1.1.2 搜 索 引擎 的发展 历史 ……1 1.1.3 搜 索 引擎 的分类 ····································……2 1.1.4 当前 主流搜 索 引擎 简介 ……，..…3 1.2 搜 索 引擎研 究现 状 ··································，·……4 1.3 搜 索 引擎 的发展趋势 ……5 1.4 本 文研 究 的主要 工作 ····································……7 1.5 论 文 的结构 ·.··……8 第 二章 搜 索 引擎 的综合研 究二““.”“二“二”:. ”二”·“·””二“·“二“·”“”·””二”二”·”·””二“··……9 2 .1 搜 索 引擎 与传 统信 息检 索 ……9 2 .2 搜 索 引擎 的体 系 结构 ……10 2.2 .1 网页采 集模 块 (搜 索器 C ~ ler) ……11 2.2 .2 索 引模块 (Indexer) ……14 2.2 .2.1 建 立 索 引 的过 程 ……14 2.2 .3 检 索模 块 (s earcher) ····················……16 2.3 实 际系统研 究 ·····················……16 2 .3 .1 G oo gle 的整 体 结 构 ……16 2 .3 .2 Go og le 的工 作 过 程 ·.·················，································……17 2 .3 .3 G oo gle 中 的主 要 数 据 结构 ……18 2 .3 .4 G oogle 主要 技 术 分 析 ……23 2 .4 本 章 小 结 ……26 第 三 章 中文 分 词 技 术 和 页面优 先度 算 法 “”””.“.”“.”…”…”.”.”””:. ”“”~.”………27 3，1 搜 索 引擎 的性 能 指 标 ……27 3.2 中文 分 词 技 术 ·····……27 3.2 .1 什 么 是 中文 分 词 技 术 ……，……27 3.2 .2 中文 分 词技 术 .，···.·.···············……28 乡 目录 目录 3.3 页面优 先度算法研究 ……36 3.3.1 页面优 先度 算 法基础 ……36 3.3.2 页面优 先度 算法 ……，……，.…，...……38 3.4 本章 小结 ……，……42 第 四章 N U T C H 搜索 引擎介绍 .”…“”””“.““““”“.”.“.”.”.“.”二”“.”“””“”.”.””…. ””.43 4 .IN u Tc H 搜 索 引擎 简介 ……43 4.2N U TcH 的基 本 结 构 ……43 4.3LU cEN E 索 引结构 ……，……46 4.3 .1 Lu cen e 索 引文件 逻 辑结构 ……，……46 4 .3.2Lu cen e 中的关键 索 引文件 ……46 4.4 本 章 小结 ……48 第 五章 中科 慧创有 限公 司补 丁 网站 的搜 索 系统““.”.”“…”.“.”.“””二””二”“.““…….49 5.1 开 发 平 台搭 建 ……49 5 .2 开发 软件 的安 装 和 配 置 ……，……49 5.3 在 N u Tc H 中增 加 中文 分 词模 块 ……54 5 .3 .1 N utch 原 有 的对 中文 的支 持 ……55 5 .3 .2N utch 的 An alysis 包 分 析 ……55 5.3 .3 在 N utch 中增加 中文分词模 块 ……59 5.4 改进 N U TCH 的页面优 先度 算法 ……，.……，……，.，……，……66 5.4 .1 N utch 原有 的叶面优 先度 算 法 ……，……“ 5.4.2 改进 后 的页 面优 先 度 算 法 ……67 5.4.3 改进 页面优 先算法 的软件 实现 ……，……67 5.5 系 统 运 行 步骤 ……71 5.5.1 抓 取 页面 前 的准 备 工作 ……71 5.5.2 运 行 C raw l 命 令抓