搜索引擎系统学习和开发实践总结.docVIP

搜索引擎系统学习与开发实践总结 总结人：相生昌 Email:superxsc@126.com MSN:superxsc@ 2005.4.18 中国知网数图研发部 目　　录 TOC \o 1-3 \h \z HYPERLINK \l _Toc101666015 一、搜索引擎概述 PAGEREF _Toc101666015 \h 3 HYPERLINK \l _Toc101666016 搜索引擎的发展历史 PAGEREF _Toc101666016 \h 3 HYPERLINK \l _Toc101666017 搜索引擎分类 PAGEREF _Toc101666017 \h 4 HYPERLINK \l _Toc101666018 搜索引擎组成及工作原理 PAGEREF _Toc101666018 \h 5 HYPERLINK \l _Toc101666019 二、网络蜘蛛 PAGEREF _Toc101666019 \h 6 HYPERLINK \l _Toc101666020 概述 PAGEREF _Toc101666020 \h 6 HYPERLINK \l _Toc101666021 主要组成 PAGEREF _Toc101666021 \h 6 HYPERLINK \l _Toc101666022 关键技术 PAGEREF _Toc101666022 \h 8 HYPERLINK \l _Toc101666023 经验总结 PAGEREF _Toc101666023 \h 8 HYPERLINK \l _Toc101666024 三、切词器 PAGEREF _Toc101666024 \h 8 HYPERLINK \l _Toc101666025 概述 PAGEREF _Toc101666025 \h 8 HYPERLINK \l _Toc101666026 切分原理 PAGEREF _Toc101666026 \h 10 HYPERLINK \l _Toc101666027 经验总结 PAGEREF _Toc101666027 \h 13 HYPERLINK \l _Toc101666028 四、索引器 PAGEREF _Toc101666028 \h 14 HYPERLINK \l _Toc101666029 概述 PAGEREF _Toc101666029 \h 14 HYPERLINK \l _Toc101666030 实现原理 PAGEREF _Toc101666030 \h 14 HYPERLINK \l _Toc101666031 经验总结 PAGEREF _Toc101666031 \h 16 HYPERLINK \l _Toc101666032 五、查询器 PAGEREF _Toc101666032 \h 16 HYPERLINK \l _Toc101666033 概述 PAGEREF _Toc101666033 \h 16 HYPERLINK \l _Toc101666034 实现原理 PAGEREF _Toc101666034 \h 17 HYPERLINK \l _Toc101666035 经验总结 PAGEREF _Toc101666035 \h 19 HYPERLINK \l _Toc101666036 六、系统关键分析 PAGEREF _Toc101666036 \h 20 HYPERLINK \l _Toc101666037 七、参考文献 PAGEREF _Toc101666037 \h 21  一、搜索引擎概述 搜索引擎的发展历史 在互联网发展初期，网站相对较少，信息查找比较容易。然而伴随互联网爆炸性的发展，普通网络用户想找到所需的资料简直如同大海捞针，这时为满足大众信息检索需求的专业搜索网站便应运而生了。 　　现代意义上的搜索引擎的祖先，是1990年由蒙特利尔大学学生Alan Emtage发明的Archie。虽然当时World Wide Web还未出现，但网络中文件传输还是相当频繁的，而且由于大量的文件散布在各个分散的FTP主机中，查询起来非常不便，因此Alan Emtage想到了开发一个可以以文件名查找文件的系统，于是便有了Archie。 　　Archie工作原理与现在的搜索引擎已经很接近，它依靠脚本程序自动搜索网上的文件，然后对有关信息进行索引，供使用者以一定的表达式查询。由于Archie深受用户欢迎，受其启发，美国内华达System Computing Services大学于1993年开发了另一个与之非常相似的搜索工具，不过此时的搜索工具除了索引文件外，已能检索网页。 　　当时