搜索引擎相关度算法分析.pdfVIP

搜索引擎相关度算法分析 相关性，是搜索引擎优化中的重点。但是对于相关性的搜索引擎工作原理，相信大 部分的 SEOER 对于都缺乏了解。 作为职业 SEO 对于搜索引擎算法的研究是必须的， 虽 然说，我们不可能知道搜索引擎算法的全部。 但是只需要我们主流搜索引擎技术的方向， 你就可以知道搜索引擎时代的脉搏。 相关度排序技术的产生主要是由搜索引擎的特点决定的。 首先，现代搜索引擎能够访问的 Web 网页数量已经达到上十亿的规模，哪怕用 Hu 只是搜索其中很少的一部分内容， 基于全文搜索技术的搜索引擎也能返回成千上万的页 面。即便这些结果网页都是用 Hu 所需要的，用 Hu 也没有可能对所有的网页浏览一遍， 所以能够将用 Hu 最感兴趣的结果网页放于前面，势必可以增强搜索引擎用 Hu 的满意 度。 其次，搜索引擎用 Hu 自身的检索专业能力通常很有限，在最为普遍的关键词检索 行为中， 用 Hu 一般只是键人几个词语。例如， Spink 等曾对 Excite 等搜索引擎的近 300 位用 Hu 做过实验调查， 发现人均输入的检索词为 3.34 个。国内部分学者也有相似的结 论，发现 90%左右的用 Hu 输入的中文检索单字为 2 ～6 个，而且 2 字词居多，约占 58% ， 其次为 4 字词 (约占 18%)和 3 字词 (约占 14%)。过少的检索词事实上无法真正表达用 Hu 的检索需求，而且用 Hu 通常也不去进行复杂的逻辑构造，只有相当少的用 Hu 进行布 尔逻辑检索、限制性检索和高级检索等方法，仅有 5.24%的检索式中包含有布尔逻辑算 符。国内的部分学者的研究结果也表明，约 40% 的用 Hu 不能正确运用字段检索或二次 检索， 80%左右的用 Hu 不能正确运用高级检索功能，甚至还发现用 Hu 缺乏动力去学 习复杂的检索技能，多数用 Hu 都寄希望于搜索引擎能够自动地为他们构造有效的检索 式。由于缺乏过去联机检索中常常具备的检索人员，因此，用 Hu 实际的检索行为与用 Hu 理想的检索行为存在事实上的差距，检索结果的不满意也是不奇怪的。正是由于这 个特点，搜索引擎就必须设法将用 Hu 最想要的网页结果尽可能地放到网页结果的前面， 这就是网页相关度排序算法在搜索引擎中为什么非常重要的原因。 现阶段的相关度排序技术主要有以下几种：一是基于传统信息检索技术的方式，它 主要利用关键词本身在文档中的重要程度来对文档与用 Hu 查询要求的相关度做出测 量，如利用网页中关键词出现的频率和位置。一般而言，检索出的网页文档中含有的查 询关键词个数越多，相关性越大，并且此关键词的区分度越高；同时，查询关键词如果 出现在诸如标题字段等重要位置上， 则比出现在正文的相关度要大。 二是超连分析技术， 使用此技术的代表性搜索引擎有 Google 和 Bai 。和前者相比， 它以网页被认可的重要程 度作为检索结果的相关度排序依据。 从设计思想上看， 它更注重第三方对该网页的认可， 如具有较大连入网页数的网页才是得到广泛认可的重要网页， 而根据关键词位置和频率 的传统方法只是一种网页自我认可的形式，缺乏客观性。最后还有一些其他方式，如由 用 Hu 自由定义排序规则的自定义方式。 北京大学的天网 FTP 搜索引擎就采用这种排序 方式，它可以让用