搜索引擎判定相似文章网页的原理大解析.pdfVIP

在上一篇文章中已经详细的介绍了利用 TF-IDF 算法自动提取文章关键词的原理。 接下来，我们再来研究一下另一个相关的问题。这个问题也是我们做 SEO 的最关心的，有 些时候， 我们除了要明白如何找到并提取文章关键词， 我们还需要找到与原文章相似的其他 文章。 比如，我们平时在搜索引擎的新闻栏目下搜索某条新闻的时候， 在主新闻下方， 还提 供了多条相似的新闻。如下图所示： 223052OD-0 为了找出相似的文章，我们就需要用到另外一个公式原理了，那就是 “余弦相似性（ cosine similiarity ）”。 一、什么是 余弦相似性 ？ 余弦相似性是指通过测量两个向量内积空间的夹角的余弦值来度量它们之间的相 似性。 0 度角的余弦值是 1，而其他任何角度的余弦值都不大于 1;并且其最小值是 -1 。从而 两个向量之间的角度的余弦值确定两个向量是否大致指向相同的方向。 两个向量有相同的指 向时，余弦相似度的值为 1；两个向量夹角为 90 °时，余弦相似度的值为 0 ；两个向量指向 完全相反的方向时，余弦相似度的值为 -1 。在比较过程中，向量的规模大小不予考虑，仅仅 考虑到向量的指向方向。余弦相似度通常用于两个向量的夹角小于 90 °之内，因此余弦相 似度的值为 0 到 1 之间。 值得注意的是余弦相似度可以用在任何维度的向量比较中， 它尤其在高维正空间中 的利用尤为频繁。 例如在信息检索中， 每个词条拥有不同的度， 一个文档是由一个由有权值 的特征向量表示的， 权值的计算取决于词条在该文档中出现的频率。 余弦相似度因此可以给 出两篇文档其主题方面的相似度。 二、搜索引擎是如何判定相似文章的？ 下面，马海祥还是以举例子的方式来说明如何才能找出相似文章？ 为了简单起见，我们先从句子着手。 句子 A ：我喜欢看电视，不喜欢看电影。 句子 B ：我不喜欢看电视，也不喜欢看电影。 那么我们怎样才能计算出上面两句话的相似程度呢？ 马海祥建议的基本思路是： 如果这两句话的用词越相似， 它们的内容就应该越相似。 因此，可以从词频入手，计算它们的相似程度。 第 1 步：分词句子 A ：我 /喜欢 / 看 / 电视，不 / 喜欢 /看 / 电影。 句子 B ：我 /不/ 喜欢 /看/ 电视，也 /不/ 喜欢 /看 / 电影。 第 2 步：列出所有的词我，喜欢，看，电视，电影，不，也。 第 3 步：计算词频句子 A ：我 1，喜欢 2 ，看 2 ，电视 1，电影 1，不 1，也 0 。 句子 B ：我 1，喜欢 2，看 2 ，电视 1，电影 1，不 2，也 1。 第 4 步：写出词频向量句子 A ：[1, 2, 2, 1, 1, 1, 0] 句子 B ：[1, 2, 2, 1, 1, 2, 1] 到这里，问题就变成了如何计算这两个向量的相似程度。 我们可以把它们想象成空间中的两条线段，都是从原点（ [0, 0, ...] ）出发，指向不 同的方向。两条线段之间形成一个夹角，如果夹角为 0 度，意味着方向相同、线段重合；如 果夹角为 90 度，意味着形成直角，方向完全不相似；如果夹角为 180 度，意味着方向正好 相反。 因此，我们可以通过夹角的大小，