面向主题的垂直搜索引擎系统的设计与实现-信息与通信工程专业毕业论文.docxVIP

声明师指导下进行研究工作所 声明 师指导下进行研究工作所 学位论文的研究成果不包 作品的内容。对本论文所 文中以明确方式标明。本 学位论文作者签名： 王去至 2011年05月 31 日 非公开学位论文标注说明 根据南开大学有关规定，非公开学位论文须经指导教师同意、作者本人申 请和相关部门批准方能标注。未经批准的均为公开学位论文，公开学位论文本 说明为空白。 论文题目 申请密级 口限制(≤2年) 口秘密(≤10年) 口机密(≤20年) 保密期限 20 年 月 日至20 年 月 日 审批表编号 批准日期 20 年 月 日 限制★2年(最长2年，可少于2年) 秘密★10年(最长5年，可少于5年) 机密★20年(最长10年，可少于lO年) 摘要摘要 摘要 摘要 随着互联网信息的日益增长，如何迅速准确地在互联网中找到所需要的信 息显得日益重要，传统的通过搜索引擎系统解决了大范围领域内的搜索，但在 面对高准确度高主题化的专业主题搜索时不能较好地满足用户的需求，而面向 主题的垂直搜索引擎很好地完成了这一需求，能面对特定人群提供准、快、全 的专业性搜索解决方案。在这种形势下，推广和发展面向主题的垂直搜索引擎 系统是十分有必要的。 本文首先追溯了搜索引擎系统的发展历史，对搜索引擎的架构和工作原理 进行了分析和总结，进而对比了通用搜索引擎和垂直搜索引擎在结构和模块组 织上的不同。接着又深入分析和研究了涉及搜索领域核心问题的技术实现，借 助概率学、几何学的模型和算法来解决这些核心技术的实现过程中所遇到的问 题。 本文着重阐述了爬虫系统的设计和实现，并对设计过程中运用的具有创新 性和贡献性的算法和机制进行了详细的陈述。然后又介绍了索引系统，中文分 词和数据库系统的具体设计与实现。 最后，本文对整个系统进行了运行和测试，通过测试结果对相关的性能评 价指标如：爬虫的运行性能，网页的准确率等进行分析。通过对结果的分析和 比较，我们证明了本文所实现系统的稳定性和高效性。 在文章最后的总结和展望一章中，对本论文所作的主要工作进行了总结， 并针对一些问题作出了下一步的展望。 关键词：主题相关度，垂直搜索，爬行策略，爬虫系统，特征词权值 AbstractAbstract Abstract Abstract With the quickly increasing of Intemet information,it becomes more and more important to find required information。The general search engines can meet 0111 needs in a daily big range，but play not well when face topical theme search task which need highly accuracy and specialize，the theme—faced vertical search engines can fulfilled this demand very well．They Can provide accurate and fast professional search solutions up to specific populations．In this situation,promotion and development On the theme theme-faced vertical search engines is very necessary． This paper first traces the development history of search engine system，the search engine’S structure and working principle is analyzed and summarized，and then compared the universal search engine and vertical search engine in the different organizational structure and module．Then analyzed and studied the core issues involving search field，and solved these core technologys realization of the problems encountered with the help ofprobability theory,geometry model and alg