全文搜索引擎技术研究与实现 毕业设计(论文).doc

编号 毕 业 设 计（论文） 题目 全文搜索引擎技术研究与实现 二级学院 计算机科学与工程学院 专 业 计算机科学与技术 班 级 107030703 学生姓名 学号10703070313 指导教师 职称 讲师 时 间 2011.6 目 录 摘要 I Abstract II 1 绪论 1 1.1 搜索引擎的出现背景及意义 1 1.2 现阶段搜索引擎的研究现状 1 1.3 本文主要工作 4 2 搜索引擎工作原理分析 5 2.1 搜索引擎基本原理 5 2.1 网页搜集 6 2.2 索引建立 6 2.3 提供检索服务 7 2.4 搜索引擎的分类 7 3 系统关键技术问题及解决方案 9 3.1 网页访问问题及解决方案 9 3.2 网页解析问题及解决方案 10 3.3 倒排索引存储问题及解决方案 11 3.4 检索系统评分问题及解决方案 11 4 系统需求分析 14 4.1 系统的功能需求 14 4.2 系统的非功能性需求 15 4.3 可行性分析 15 5 系统设计 18 5.1 系统总体结构 18 5.2 网络爬虫模块设计 18 5.3 索引系统模块设计 19 5.4 检索系统模块设计 20 5.5数据库表设计 20 6 系统实现 23 6.1 系统界面实现 23 6.2 爬虫程序模块实现 25 6.3 索引系统模块实现 26 6.4 信息检索系统模块实现 28 7 系统测试 30 7.1 系统测试的目的 30 7.2 系统测试的原则 31 7.3 测试环境 31 7.4 测试记录 31 8 结论 40 致谢 41 参考文献 42 摘要 随着互联网的不断发展和日益普及，网络成为信息极其重要的来源地，越来越多的人从网络上获取自己所需要的信息，网上的信息量在爆炸式增长，如何在最短时间内找到我们所需要的资料就成了一个非常关键的问题。为了解决这个问题，Web搜索引擎就随之出现了，并得到了飞速发展，使得像Google，百度这样的通用搜索引擎变成了人们寻找信息必不可少的工具，搜索引擎现在也已经成为互联网上仅次于电子邮件的第二大网络服务。 本文论述了搜索引擎的开发背景以及搜索引擎的历史和发展趋势，分析了搜索引擎的开发需求，在深入研究了通用搜索引擎基本原理、架构设计和核心技术的基础上，结合搜索引擎的需求，构建了一个运行稳定，性能良好而且可扩充的搜索引擎系统，本文不仅仅完成了对整个系统的设计，对系统开发中的一些关键技术问题，都给出了解决方案（包括网络爬虫、倒排索引、信息检索及结果排序等，这些技术将被应用到文中提出的系统设计方案中），并且完成了所有的编码实现工作。 关键词：搜索引擎，网络爬虫，倒排索引，信息检索 Abstract Along with the continuous development of the Internet and growing popularity, network becomes an extremely important source of information, more and more people from the network to obtain the information they need, and the amount of information online in the explosive growth, How to find the shortest possible time the information we need to become a very critical issue. To solve this problem, Web search engines appeared on the subsequent, and has been the rapid development of, make like Google, Baidu, into a general search engine indispensable tool for people to find information, search engines are now second o