网络信息采集与利用6.pptVIP

搜索引擎(Search Engine) 2002年，华尔街一位著名的分析师指出：Internet作为一种现象，本质上可以用三个单词来表示：Search、Find、Obtain 竞价排名赢利模式（Overture、百度） Freemium商业模式 （ Wolfram Alpha ） 搜索引擎发展 未来搜索技术将朝着三个方向发展：包括联想在内的语义搜索，检索图像、语音、动画内容的感性搜索，通过传感技术搜索现实世界对象的现实挖掘 未来搜索引擎应提供问题答案而非链接 未来的搜索引擎将集合多种不同来源的内容，并提供即时而丰富的答案 搜索是一种信息和内容的抓取机制，而Facebook和Twitter等社交网站则提供了一种推送机制 搜索引擎技术 Page Rank 在互联网上，如果一个网页被很多其它网页所链接，说明它受到普遍的承认和信赖，那么它的排名就高。这就是 Page Rank 的核心思想 当然 Google 的 Page Rank 算法实际上要复杂得多。比如说，对来自不同网页的链接对待不同，本身网页排名高的链接更可靠，于是给这些链接予较大的权重 搜索引擎技术 Page Rank 考虑了这个因素，可是现在问题又来了，计算搜索结果的网页排名过程中需要用到网页本身的排名，这不成了先有鸡还是先有蛋的问题了吗？ Google 的两个创始人拉里?佩奇 （Larry Page ）和谢尔盖?布林 (Sergey Brin) 把这个问题变成了一个二维矩阵相乘的问题，并且用迭代的方法解决了这个问题。 搜索引擎技术 先假定所有网页的排名是相同的，并且根据这个初始值，算出各个网页的第一次迭代排名，然后再根据第一次迭代排名算出第二次的排名。他们两人从理论上证明了不论初始值如何选取，这种算法都保证了网页排名的估计值能收敛到他们的真实值 值得一提的事，这种算法是完全没有任何人工干预的 搜索引擎技术 理论问题解决了，又遇到实际问题。因为互联网上网页的数量是巨大的，上面提到的二维矩阵从理论上讲有网页数目平方之多个元素。如果我们假定有十亿个网页，那么这个矩阵 就有一百亿亿个元素。这样大的矩阵相乘，计算量是非常大的 拉里和谢尔盖两人利用稀疏矩阵计算的技巧，大大的简化了计算量，并实现了这个网页排名算法。今天 Google 的工程师把这个算法移植到并行的计算机中，进一步缩短了计算时间，使网页更新的周期比以前短了许多 网页搜索(Google) 搜索和指定页面类似的网页 related: 搜索与某个URL地址存在链接的网页 link: 高级搜索 地图搜索(Google) Google 地图是Google提供的服务，为使用者提供强大、使用者友善的地图技术以及本地公司资讯，包括公司位置、联络资讯以及行车路线指示 Google 地图通过很多来源收集信息，从而提供最佳的地图 博客搜索 (Google) “博客搜索”是 Google 搜索技术针对博客内容所提供的服务 “博客搜索”的目标是收录每一个发布了站点种子(以RSS或Atom方式)的博客 “博客搜索”通过站点种子对博客内容进行收录，并及时查看是否有新的内容发布 特色功能(Google) Gmail Google Docs Google Calendar Google Earth Google Talk Picasa YouTube 特色搜索(电影字幕搜索引擎) / 国际电影资料库 / 特色搜索(其他搜索引擎) Flash搜索 论坛搜索 / 视频搜索 搜房引擎 三维地图 学术论坛 学术论坛 学术论坛 / 管理论坛 http://21 学术搜索 ResearchIndex（/cis） INFOMINE（/） EEVL（http://www.eevl.ac.uk/） MathSearch（.au:8000/MathSearch.html） PhysLink（/） 特色搜索(其他搜索引擎) 找人 图书 多媒体 / 地图 /# 常用搜索引擎 Google Yahoo! AllTheWeb Ask Jeeves Baidu 中搜（/） 五、搜索引擎应用 搜索引擎应用 网页搜索 学术搜索 特色搜索 关键词 网页搜索(Google) Google Inc. 创建于 1998 年 9 月 Google 的使命是整合全球信息，使人人皆可访问并从中受益 Google 是全球最大的搜索引擎 G 是互联网上 5 大最受欢迎的网站之一 网页搜索(Google) 搜索引擎最基本的语法“与”“非”和“或”，这三种搜索语法Google分别用“ ”（空格）、“-”和“OR”表示 通配符问题 关键字的字母大小写 搜索整个短语或者句子 搜索