- 1、本文档共18页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
网络门户搜索引擎网站的技术和存在问题及发展趋势
网络门户搜索引擎网站的技术和存在问题及发展趋势;网络搜索引擎在网络信息资源查找中起到了重要作用, 它可以帮助人们从数以亿计的网络信息中找自己想要的信息。搜索引擎以一定的策略在互联网中搜集。发现信息,对信息进行理解、提取、组织和处理,并为用户提供检索服务,从而起到信息导航的目的。搜索引擎提供的导航服务已经成为互联网上非常重要的网络服务,搜索引擎点也被美誉为“网络门户”。搜索引擎技术因而成为计算机工 业界和学术界争相研究开发的对象;搜索引擎的基本构成和工作原理;1.搜索器。搜索器的功能是在互联网中漫游,发现和搜
集信息。它常常是一个计算机程序,日夜不停地运行。它要
尽可能多、尽可能快地搜集各种类型的新信息,同时因为互
联网上的信息更新很快,所以还要定期更新已经搜集过的旧
信息,以避免死连接和无效连接。目前有两种搜集信息的策
略: 从一个起始URL 集合开始,顺着这些URL 中的超链
(Hyperlink),以宽度优先、深度优先或启发式方式循环地
在互联网中发现信息。这些起始URL 可以是任意的URL,但常
常是一些非常流行、包含很多链接的站点(如Yahoo!)。将
Web 空间按照域名、IP 地址或国家域名划分,每个搜索器负
责一个子空间的穷尽搜索。 搜索器搜集的信息类型多种多
样,包括HTML、XML、Newsgroup 文章、FTP 文件、字处理文
档、多媒体信息。 搜索器的实现常常用分布式、并行计算技
术,以提高信息发现和更新的速度。商业搜索引擎的信息发
现可以达到每天几百万网页。;2.索引器。索引器的功能是理解搜索器所搜索的信息,
从中抽取出索引项,用于表示文档以及生成文档库的索引表。
在搜索引擎中,一般要给单索引项赋与一个权值,以表示该
索引项对文档的区分度,同时用来计算查询结果的相关度。
使用的方法一般有统计法、信息论法和概率法。短语索引项
的提取方法有统计法、概率法和语言学法。索引表一般使用
某种形式的倒排表(Inversion List),即由索引项查找相应
的文档。索引表也可能要记录索引项在文档中出现的位置,
以便检索器计算索引项之间的相邻或接近关系(proximity)。
索引器可以使用集中式索引算法或分布式索引算法。当数据
量很大时,必须实现即时索引(Instant Indexing),否则不
能够跟上信息量急剧增加的速度。索引算法对索引器的性能
(如大规模峰值查询时的响应速度)有很大的影响。一个搜
索引擎的有效性在很大程度上取决于索引的质量。;3.检索器。检索器的功能是根据用户的查询在索引库中
快速检出文档,进行文档与查询的相关度评价,对将要输出
的结果进行排序,并实现某种用户相关性反馈机制。;4.用户接口。用户接口的作用是输入用户查询、显示查
询结果、提供用户相关性反馈机制。主要的目的是方便用户
使用搜索引擎,高效率、多方式地从搜索引擎中得到有效、
及时的信息。用户接口的设计和实现使用人机交互的理论和
方法,以充分适应人类的思维习惯。;(二)搜索引擎的分类;1.基于目录的搜索引擎。基于目录的搜索引擎将收集到
的信息分到某一个类中,典型的基于目录的搜索引擎有Yahoo
和Magellan。目录式搜索引擎提供由网页作者呈送的因特网
资源的链接集合,同时对这些资源做出评价并组织成主题目
录。它使用一定的选择标准用于挑选所录用的链接资源,不
同的目录式搜索引擎使用不同的选择标准。它有两种基本类
型:一种是由主题专家日常建立和维护的学术性专业目录以
满足科研人员的需要; 另一方面是为普通大众和商业服务的
商业目录。;2.基于机器人的搜索引擎。基于机器人的搜索引擎从一
组已知的文档出发,通过这些文档的超文本链接确定新的检
索点,然后用索引机器人周游这些新的检索点,标引这些检
索点上的新文档,将这些新文档加入到索引数据库。以后搜
索引擎可以用这个索引数据库去回答用户的提问。机器人搜
索引擎不是靠人工发现和甄别信息,而是由一个被称作“蜘
蛛”的计算机程序在网中爬行,依据一定的网络协议在因特
网中发现、加工、整理信息,并为用户提供检索服务。;3.基于客户的搜索引擎。基于客户的搜索引擎用Web 客
户器中的周游软件,它们从一组已知的文档出发,检索WWW
上的文档并传送这些文档,然后用文档中的超文本链接找到
更多的文档,直到满足要求。基于客户的搜索引擎不需要第
三方检索接口,因此可改善用户界面,因为基于客户的搜索
是实时的,它可以搜索到最新的资料,但搜索速度慢,网络
负载和服务器负载都太大。;4.元搜索引擎。元搜索引擎将用户查找要求递交给其它
搜索引擎。它的注意力放在改进用户界面及用不同的方法过
滤它从其它搜索引擎接收到的相关文档,包括消除重复信息,
元搜索引擎设计简单,但网络的负载太大,典型的元搜索引
擎有ME
文档评论(0)