主题网络爬虫的设计与实现——界面及数据库模块设计毕业论文.doc

本科毕业论文 (科研训练、毕业设计) 题 目： 主题网络爬虫的设计与实现 ——界面及数据库模块设计 姓 名： 学 院： 软件学院 系： 软件工程 专 业： 软件工程 年 级： 学 号： 指导教师： 职称： 年 月 摘要 随着网络信息的迅速发展，搜索引擎已成为人们获取有用信息必不可少的工具。以何种策略有效地访问网络资源是专业搜索引擎中网络爬虫研究的主要问题。本文对搜索引擎中网络爬虫的搜索策略进行简要分析，总结提高搜索效率的因素，使人们对网络爬虫的搜索算法有个大概了解，以及对新一代搜索引擎的期望, 以便更快捷获取自己需要的信息。搜索引擎作为网络信息搜寻的工具，它以一定的策略在互联网中搜集、发现信息，对信息进行理解、提取、组织和处理，并为用户提供检索服务。 爬虫搜索引擎主要由三部分组成：搜索器、数据库和用户界面。搜索器搜索到Internet的Web页面后,将页面信息存入索引数据库，最后通过用户界面提供给用户。文章主要介绍数据库的组织和索引过程的实现。 本文简要描述了主题爬虫设计中主题相关度分析以及爬虫具体实现过程，侧重点在于系统的界面设计及数据库设计模块。界面部分通过引入插件来改变原有面板的外观，以达到美化的效果；数据库部分对数据库的设计特点、方法以及步骤等做了简单的介绍，通过对系统的需求分析进行数据库的概念结构设计、逻辑结构设计和物理结构设计。 另外本文还介绍了爬虫系统的各模块之间的相互关系，结合图例给于说明分析，通过对爬虫系统的运行流程进行简要分析，测试并验证了系统的可行性和有效性。最后对开发工具以及所用到的插件做了相关说明。 关键词：网络爬虫 搜索引擎 插件 索引 Abstract In recent years, search engine turns more and more impo rtant for us to get useful info rmation. How can Web crawler visit the web efficiently in the domain of Topic Specific Search Engine has become the main problem. Th is paper analysizes web craw ler’s search ing st rategies. This paper wants to make people know the web crawler’s strategy and long for the new search ing engine so as to get info rmation quickly which they need. Search engine is a tool of serching information in the internet, it collect, discovers an information in the Internet by certain strategy and carry on comprehension, withdraw to the information, organization and processing, and provide an index service for the customer. Web crawler’s search engine of a Internet consists of three parts: searcher, Database and user interface. Searcher searches Web page of a Internet and then saves the page information into index Database and provides them for users by interface in the end. This paper introduces organization of Database and the implement of index process. This paper synopsis introduce the related degree analysis and the process of the web crawler design.The main part is the interface design and the database design. The interface part leads plug-ins to