2120年搜索引擎发展史.pptx

二十年搜索引擎发展史我们熟悉的搜索引擎百度谷歌雅虎搜狗上网搜信息，首选搜索引擎搜索引擎的原理网络蜘蛛程序：爬取网页网页信息抽取，智能分析，建立索引数据库用户输入搜索词，到索引数据库匹配评价相关性，输出结果搜索引擎的诞生背景计算机网络的诞生网络规模变大网络资源数量增长人们搜索信息的刚性需求信息搜索技术的不断提高搜索引擎的发展轨迹从美国发端从人工组织到爬虫自动爬取从简单排序算法到智能排序算法从摸索阶段到成熟商业模式从提供信息到智能反馈知识从检索网页到检索多样资源Archie1990年出现了Archie，是archives的缩写版，档案的意思。采集FTP文件信息万维网：world wide web (WWW)Spider / Robot1993年六月，Matthew Gray开发了万维网漫步者的项目，监测万维网的网页增长速度。形成链接数据库Wandex数据库。1993年，ALIWEB出现了，类似Archie的网站，索引的不是FTP服务器的文件，而是Web服务器的网页。实现了自动化爬取，但对链接的分析还欠缺。1993年，6个斯坦福毕业生，统计分析方法，分析词汇间关系，搜索效果更好。后来同宽带提供商公司@Home 合并，Excite@Home市值达67亿美元。2001年公司申请破产，InfoSpace用100亿美元购买了这个公司。资源目录1994年，建立了一个Web资源目录，也提供FTP、Gopher的搜索服务。1994年4月，David 和杨致远，建立了Yahoo！目录。建立资源目录，雇佣人手工为网页添加描述信息。对商业网站收费。（299美元）开放的资源目录发布目录和使用目录都是免费的。图书馆员的资源目录1995年，Looksmart成立，与Yahoo竞争。增加网页收录的量。2002年，向被收录站点收费。采用点击付费模式。收费，客户流失。带来大客户：微软的MSN2003年，微软与LookSmart取消合作陷入低谷目录式搜索引擎的不足维护目录耗费时间，耗费人力物力。从商业角度看，不可持续，急需一个伸缩性强的商务模式。人工干预标注；收录网页有限；无法索引全文。Web迅速增长，而Web目录是个老马车，跑不动了。爬虫的出现1994年，能够索引网页全文的爬虫出现，WebCrawler，十分受欢迎，一度在白天高峰时段无法使用。1997年Excite收购了WebCrawler，而AOL当时委托Excite为其搜索引擎NetFind提供技术支持。最终成为AOL的品牌。WebCrawler 激发了同类公司的出现，包括：Lycos, Infoseek, OpenText.LYCOS1994年，发端于卡内基梅隆大学，后成为公司。当时提供了一个包含5.4万文档的目录。它索引的网页数量不断增加。1994年8月，39万1995年1月，150万1996年11月，6000万远超其他搜索引擎ALTAVISTA1994年成立，在当时，几乎带宽无限。支持自然语言查询，允许用户添加、删除自己网页的URL，支持被索引网页的查询。但由于管理不善，后来被Overture收购。Yahoo又收购了Overture，就把许多Altavista的技术引入了Yahoo搜索引擎。ALLTHEWEB1999年成立，是搜索技术平台。2003年2月，Overture以7000万美元收购。之后，雅虎收购overture，雅虎从中进行了技术迁移。把alltheweb的技术加入到了yahoo搜索引擎中。GoogleLarry/Sergey两个斯坦福的博士生，1996年一起研究搜索引擎。1998年，Google搜索引擎诞生了。Sergey谢尔盖布林曾出售过他们的PageRank技术，但无人问津。获得了10万美元投资，接着又获得2500美元的风险投资。1999年AOL选择Google作为合作伙伴，2000年，Yahoo也选择Google作为合作伙伴，让Google为他们提供搜索服务。后续google推出了更多的搜索功能~Yahoo失利Yahoo在1994年成立以来，专注网页资源目录和内容资源。而将搜索服务外包给其他公司。2002年后，醒悟Overture 收购 2003 AllTheWeb ， AltaVista Yahoo收购Inktomi收购Overture技术整合，2004年，不再使用Google的服务。Yahoo放弃独立开发搜索技术2009年，Yahoo放弃了搜索技术方面的努力。与Bing签署了10年期合约，由Bing为其提供搜索结果页面和服务。搜索引擎商务模式的找到（1）付费收录（2）关键词广告（Google Adwords）搜索关键词竞价排名（3）网页广告（Google Adsense）站长向Google注册站长在自己网页上展示Google的广告付费与免费杂志对内容收费部分读