Linux下基于QT的可视化MPI通信组件的设计与实现.docVIP

摘 要 随着Internet的飞速发展，人们越来越依靠网络来查找他们所需要的信息，但是，由于网上的信息源多不胜数，也就是我们经常所说的Rich?Data,?Poor?Information。所以如何有效的去发现我们所需要的信息，就成了一个很关键的问题。为了解决这个问题，搜索引擎就随之诞生。?目 录 1 项目背景 1 1.1 搜索引擎现状分析 1 1.2 课题开发背景 1 1.3搜索引擎的组成和工作过程 3 1.3.1 搜索器 3 1.3.2 索引器 4 1.3.3 检索器 5 1.4搜索引擎的分类 6 1.5当前搜索引擎的关键技术 10 1.5.1网络蜘蛛技术 10 1.5.2基于相关度的排序 12 1.5.3基于概念的检索 12 2 系统开发工具和平台 14 2.1 关于JAVA语言 14 2.2 Eclipse介绍 15 2.2.1Eclipse历史 15 2.3 servlet的原理 16 3 系统总体设计 18 3.1系统总体结构 18 3.2搜索策略 18 4 系统详细设计 19 4.1 界面设计实现 19 4.2 设计代码分析 19 4.3 servlet的实现 23 4.4 网页的处理队列 24 4.5搜索字符串的匹配 25 4.6 搜索引擎的实现 25 5 系统测试 39 6 结论 41 参考文献 43 1 项目背景 1.1 搜索引擎现状分析 互联网被普及前，人们查阅资料首先想到的便是拥有大量书籍的图书馆，而在当今很多人多会选择一种更方便，快捷，全面准确的方式——互联网，如果说互联网是一个知识宝库，那么搜索引擎就是打开知识宝库的一把钥匙，搜索引擎是随着WEB信息的迅速增加，从1955年开始逐渐发展起来的技术，用于帮助互联网用户查询信息的搜索工具，搜索引擎以一定的策略在互联网中搜集，发现信息，对信息进行理解，提取，组织和处理，并为用户提供检索服务，从而起到信息导航的目的。目前搜索引擎已经成为倍受网络用户关注的焦点，也成为计算机工业界和学术界争相研究，开发的对象。 目前较为流行的搜索的引擎已有Google，Yahoo，Ifno seek，baidu等。出于商业机密的考虑，目前各个搜索引擎使用的Crawler系统的技术内幕一般都不公开，现有的文献也仅限于概要性介绍，随着WEB信息资源呈指数级增长及WEB信息资源动态变化，传统的搜索引擎提供的信息检索服务已不能满足人们日益增长的对个性化服务的需要，他们正面临着巨大的挑战，以何种策略访问WEB，提高搜索效率，成为近年来搜索引擎研究的主要问题之一。 1.2 课题开发背景 目前虽然有多种搜索引擎，但各种搜索引擎基本上由三部分组成： （1）在互联网上采集信息的网页采集系统：网页采集系统主要使用一种工作在互联网上的采集信息的”网络蜘蛛” 。”网络蜘蛛”实际上市一些基于WEB的程序，利用主页中的超文本链接遍历WEB，利用能够从互联网上自动收集网页的”网络蜘蛛”程序，自动访问互联网并沿着任何网页中的所有URL爬到其它网页，重复这过程，并把爬过的所有网页收集到网页数据库中。 （2）对采集到的信息进行索引并建立索引库的索引处理系统：索引处理系统对收集回来的网页进行分析，提取相关网页信息(包括网页所在URL，编码类型，网页内容包含的关键词，关键词位置，生成时间，大小与其它网页的链接关系等)，根据一定的相关度算法进行大量复杂计算，得到每一个网页针对页面内容中及超链接中每一个关键词的相关度(或重要性)，然后建立索引并存入到网页索引数据库中，索引数据库可以采用通用的大型数据库，如Oracle,Sybase等，也可以定义文件格式进行存放，为了保证索引数据库中的信息与WEB内容的同步，索引数据库必须定时更新，更新频率决定了搜索结果的及时性，索引数据库的更新时通过启动”网络蜘蛛”对WEB空间重新搜索来实现的。 （3）完成用户提交的查询请求的网页检索器：网页检索器一般是一个在WEB服务器上运行的服务器程序，它首先接收用户提交的查询条件，根据查询条件对索引库进行查找并将查询到的结果返回给用户，当用户使用搜索引擎查找信息时，网页检索器接收用户提交的关键词，由搜索系统程序从网页索引数据库中找到符合该关键词的所有相关网页，有的搜索引擎系统综合相关信息和网页级别形成相关度数值，然后进行排序，相关度越高，排名越靠前，最后由页面生成系统将搜索结果的链接地址和页面内容摘要等内容组织起来返回给用户，典型的搜索引擎系统如Google就是采用这种策略。 信息的飞速增长，使搜索引擎成为人们查找信息的首选工具，Google、百废、中国搜索等大型搜索引擎一直是人们讨论的话题. 捏索引擎技术的研究，国外比中国要早近十年，从最早的Archie，到后来的 Excite，以及 ahvista、overture,Google等搜