垂直搜索引擎技术研究与应用——承乘广缘网站搜索引擎的设计-research and application of vertical search engine technology - design of chengcheng guangyuan website search engine.docxVIP

西安建筑科技大学硕士学位论文西安建筑科技大学硕士学位论文22而且给大家提供了一个相互交流、共享经验和教训iI、展望行业发展前景的机会和 场合。当通用搜索引擎厂商在不断强调其搜索结果的信息量时，工作频率不断加快 的现代商务人群却对通用搜索页面中的大量非目标源信息感到不满，开始对专业 领域的搜索精确性产生了强烈的需求，针对这一市场现状，为承乘广缘网络科技 有限公司建设搜商网，步入行业性专业搜索领域大门创造了最好的时机，开辟了 搜索市场的又一掘金之途。研究资料显示，专注于详细行业类别的垂直搜索引擎 将最终占据付费搜索市场。事实证明 :互联网将超越传统产业 ，成为二十一世纪经济最高的增长点，而专 业搜索市场也 存在着很多切入领域， 选择具有前景的行业市场是明智之举 ，中国 的电子商务领域已经取得了很多突破性的进展，而随着这一市场的不断成熟 ，以及 人们网上支付使用习惯的形成，商业领域的搜索必将会掀起 下一轮高潮。1.2 搜索引擎搜索引擎 (search engí ne) 是指根据一定的策略、运用特定的计算机程序搜集互联网上的信息 ，在对信息进行组织和处理后 ，为用户提供检索服务的系统。 从使用者的角度看，搜索引擎提供一个包含搜索框的页面，在搜索框输入词语，通过浏览器提交给搜索引擎后，搜索引擎就会返回与用户输入的内容相关的信息列表。1.2.1 搜索引擎的发展简史早在Web出现之前，互联网上就己经存在许多旨在让人们共享的信息资源了。 那些资源当时主要存在于各种允许匿名访问的问 P站点 (anonymous ftp) ，内容以 学术技术报告、研究性软件居多 ，它们以计算机文件的形式存在，文字材料的编 码通常是PostS巳ript或者纯文本。为了便于人们在分散的问 P资源中找到所需的东西， 1990年加拿大麦吉尔大学 (Un iversity of McGill) 计算机学院的师生开发了一个软件， Archie 。它通过定 期搜集并分析问P系统中存在的文件名信息，提供查找分布在各个 FTP主机中文件 的服务。Archíe能在只知道文件名的前提下 ，为用户找到这个文件所在的盯 P服务 器的地址。 Archie实际上是一个大型的数据库，再加上与这个大型数据库相关联 的一套检索方法。该数据库中包括大量可通过Pr P下载的文件资源的有关信息，包 括这些资源的文件名、文件长度、存放该文件的计算机名及目录名等。尽管所提 供服务的信息资源对象时阳 TML文件)和本文中所讨论搜索引擎的信息资源对象 (HTML网页)不一样，但基本工作方式是相同的，因此人们公认 Arch i e为现代搜索 引擎的鼻祖。 即使是在10多年后的今天，以阿P 文件为对象的信息检索服务技术依然在发展，尤其是在用户使用界面上充分采用了 Web风格。1993年Matthew Gray开发了World Wide lVeb Wand erer ，它是世界上第一个利 用HTML网页之间的链接关系来监测 Web 发展规模的机器人 (robot) 程序。刚 开始时它只用来统计互联网上的服务器数量，后来则发展为能够通过它检索网站 域名。鉴于其在 Web上沿着超链爬行的工作方式，这种程序有时也称为蜘 蛛 (spider) 。因此，在文献中crawler ，spider ，robot一般都指的是相同 的事物， ep在百eb上依照网页之间的超链关系一个个抓取网页的程序， 。通常也称为 搜集。在搜索引擎系统 中， 也称为网页搜集子系统。现代搜索引擎的思路源 于Wanderer ，不少人在Mat thew Grey 工作的基础上对 它的蜘蛛程序做了改进。 1994年7月， Michael Mauldin每John Leavitt 的蜘蛛程 序接入到其索引程序中，创建了大家现在熟知的 Lycos ，成为第一个现代意义的搜 索引擎。在那之后，随着 Web上信息的爆炸性增长，搜索引擎的应用价值也越来越 高，不断有更新、更强的搜索引擎系统推出(下-节会有介绍〉。这其中，特别 引人注目的是Google ，虽然是个姗姗来迟者 (1998年才推出) ，但由于其采用了 独特的PageRank 技术，使它很快后来居上，成为当前全球最受欢迎的搜索引擎。当我们谈及搜索引擎的时候，不应该忽略另外 一个几乎是同期发展出来的事 物:基于目录的信息服务网站。 1994年4月，斯坦福 (Stanford) 大学的两名博士 生， David Fi lo和杨致远 (Gerry Yang) 共同创办了Yahoo! 门户网站，并成功地 使网络信息搜索的概念深入人心。在许多场合，也称 Yahoo! 之类的门户网站提供 的信息查找功能为搜索引擎。但从技术上讲，这样的门户中提供的搜