论述蜘蛛爬行深度阀值存在.docVIP

论述蜘蛛爬行深度阀值存在 　　摘要:伴随互联网爆炸性的发展,普通网络用户想找到所需的资料简直如同大海捞针,人们越来越多地关注如何快速有效地从海量的网络信息中,抽取出潜在的、有价值的信息,使之有效地在管理和决策中发挥作用,但是因为在搜索引擎中的蜘蛛爬行深度的控制不合理使得搜索结果并不是很准确。该文通过对搜索引擎主流技术的分析和对当今主流搜索引擎技术所存在的问题得论述,提出了搜索层次定义化,并实现了相应的理论,完成了能够定义搜索深度的个性化搜索引擎的实验模型,论述了蜘蛛爬行深度法制的存在。 　　关键词:搜索引擎;蜘蛛;深度;目标 　　中图分类号:TP311文献标识码:A文章编号:1009-3044(2010)18-5024-04 　　 　　A Spiders Crawling Depth Exposition Threshold Exists 　　CHEN Qi-cai 　　(Hechi Ethnic Agricultrural School, Hechi 546300,China) 　　Abstract: With the explosive development of the Internet, ordinary users to find the information required simply as looking for needles in a haystack. There is growing concern over how quickly and efficiently from huge network information, extracted potential, valuable information, make it effective in the management and decision-making role to play, but because the search engine spiders crawl the depth of control makes unreasonable search results is not very accurate. Based on the mainstream search engines and technical analysis of todays mainstream search engine technology to the problems inherent in the exposition, Search the definition levels, and to achieve the corresponding theory, completed a search to define the depth of personalized search engine experimental model of a spider crawling discussed in depth the existence of the rule of law. 　　Key words: search engines; spiders; depth; objective 　　 　　1 概述 　　1.1 搜索引擎的基本概念和原理 　　在互联网上以一定的策略搜集各个网站的信息,检索出与用户要求的条件相匹配的信息,对其进行组织和处理后,将结果按一定的顺序反馈给用户的检索服务系统叫做搜索引擎。从搜索信息最终来源来看,搜索引擎可以分为通过租用其他搜索引擎的数据库来完成检索,然后按自定的格式排列搜索结果的搜索引擎和拥有自己的检索程序的搜索引擎。其中拥有自己检索程序的搜索引擎又被俗称为“蜘蛛”程序。 　　1.2 搜索引擎的发展历史 　　1990年由蒙特利尔大学计算机学院的师生开发出了Archie。当时World Wide Web还没有出现,为了解决网络中文件传输的问题,人们通过FTP来共享交流资源,使得大量的文件都被散布在各个FTP主机中,查询起来非常困难。Archie能定期搜集并分析FTP服务器上的文件名信息,以文件名查找分布在各个FTP主机中的文件。1993年,美国内华达大学又开发了一个与Archie相似的查询工具,但这时索引文件以外的搜索工具已经能够检索到网页。1994年,卡内基?梅隆大学的Michael Mauldin将John Leavitt的蜘蛛程序接入到其索引程序中,创建了现在大家熟知的Lycos,从而产生了最早现代意义上的搜索引擎。同年4月,两名斯坦福(Stanford)大学的博士生,David Filo和杨致远一起创办了一个超级目录索引Yahoo,且通过Yahoo使搜索引擎的概念不断地深