google工程师谈google的网页排名技读术.docVIP

Google工程师谈Google的网页排名技术 大家可能听说过，Google革命性的发明是它名为“PageRank”的网页排名算法，这项技术彻底解决了搜索结果排序的问题。其实最先试图给互联网上的众多网站排序的并不是Google。Yahoo！公司最初第一个用目录分类的方式让用户通过互联网检索信息，但由于当时计算机容量和速度的限制，当时的Yahoo！和同时代的其它搜索引擎都存在一个共同的问题：收录的网页太少，而且只能对网页中常见内容相关的实际用词进行索引。那时，用户很难找到很相关信息。我记得1ArrayArrayArray年以前查找一篇论文，要换好几个搜索引擎。后来DEC公司开发了AltaVista搜索引擎，只用一台ALPHA服务器，却收录了比以往引擎都多的网页，而且对里面的每个词进行索引。AltaVista虽然让用户搜索到大量结果，但大部分结果却与查询不太相关，有时找想看的网页需要翻好几页。所以最初的AltaVista在一定程度上解决了覆盖率的问题，但不能很好地对结果进行排序。 Google的“PageRank”是怎么回事呢？其实简单说就是民主表决。打个比方，假如我们要找李开复博士，有一百个人举手说自己是李开复。那么谁是真的呢？也许有好几个真的，但即使如此谁又是大家真正想找的呢？:-)如果大家都说在Google公司的那个是真的，那么他就是真的。 在互联网上，如果一个网页被很多其它很多网页所链接，说明它受到普遍的承认和信赖，那么它的排名就高。这就是PageRank的核心思想。当然Google的PageRank算法实际上要复杂得多。比如说，对来自不同网页的链接对待不同，本身网页排名高的链接更可靠，于是给这些链接予较大的权重。PageRank考虑了这个因素，可是现在问题又来了，计算搜索结果的网页排名过程中需要用到本身网页的排名，这不成了先有鸡还是先有蛋的问题了吗？ Google的两个创始人拉里#8226;佩奇和谢尔盖#8226;布林把这个问题变成了一个二维矩阵相乘的问题，并且用迭代的方法解决了这个问题。他们先假定所有网页的排名是相同的，并且根据这个初始值，算出各个网页的第一次迭代排名，然后再根据第一次迭代排名算出第二次的排名。他们两人从理论上证明了不论初始值如何选取，这种算法都保证了网页排名的估计值能收敛到他们的真实值。值得一提的事，这种算法是完全没有任何人工干预的。 理论问题解决了，又遇到实际问题。因为互联网上网页的数量是巨大的，上面提到的二维矩阵从理论上讲有网页数目平方之多个元素。如果我们假定有十亿个网页，那么这个矩阵就有一百亿亿个元素。这样大的矩阵相乘，计算量是非常大的。拉里和谢尔盖两人利用稀疏矩阵计算的技巧，大大的简化了计算量，并实现了这个网页排名算法。今天Google的工程师把这个算法移植到并行的计算机中，进一步缩短了计算时间，使网页更新的周期比以前短了许多。 我来Google后，拉里在和我们几个新员工座谈时，讲起他当年和谢尔盖是怎么想到网页排名算法的。他说：当时我们觉得整个互联网就像一张大的图（Graph)，每个网站就像一个节点，而每个网页的链接就像一个弧。我想，互联网可以用一个图或者矩阵描述，我也许可以在用这个发现做个博士论文。他和谢尔盖就这样发明了PageRank的算法。 网页排名的高明之处在于它把整个互联网当作了一个整体对待。它无意识中符合了系统论的观点。相比之下，以前的信息检索大多把每一个网页当作独立的个体对待，很多人当初只注意了网页内容和查询语句的相关性，忽略了网页之间的关系。 今天，Google搜索引擎比最初的复杂、完善了许多。但是网页排名在Google所有算法中依然是至关重要的。在学术界,这个算法被公认为是文献检索中最大的贡献之一，并且被很多大学引入了信息检索课程的教程。 大傢可能聽說過，Google革命性的發明是它名為“PageRank”的網頁排名算法，這項技術徹底解決瞭搜索結果排序的問題。其實最先試圖給互聯網上的眾多網站排序的並不是Google。Yahoo！公司最初第一個用目錄分類的方式讓用戶通過互聯網檢索信息，但由於當時計算機容量和速度的限制，當時的Yahoo！和同時代的其它搜索引擎都存在一個共同的問題：收錄的網頁太少，而且隻能對網頁中常見內容相關的實際用詞進行索引。那時，用戶很難找到很相關信息。我記得1ArrayArrayArray年以前查找一篇論文，要換好幾個搜索引擎。後來DEC公司開發瞭AltaVista搜索引擎，隻用一臺ALPHA服務器，卻收錄瞭比以往引擎都多的網頁，而且對裡面的每個詞進行索引。AltaVista雖然讓用戶搜索到大量結果，但大部分結果卻與查詢不太相關，有時找想看的網頁需要翻好幾頁。所以最初的AltaVista在一定程度上解決瞭覆蓋率的問題，但不能很好地對結果進行排序。 Googl