Google搜索算法原理与代码实现.docxVIP

Google搜索算法原理与代码实现

一、Google搜索整体原理（极简版）

1.爬虫（Crawling）

从少量种子URL出发，抓取页面、提取链接、去重，不断扩张。

存储原始页面→构建倒排索引（词→文档列表）。

2.索引（Indexing）

分词、去停用词、归一化（如小写、词干提取）。

建倒排索引：关键词→[文档ID,位置,权重…]。

3.排序（Ranking，核心）

Google排序是200+因子的加权模型，核心三块：

（1）TFIDF：内容相关性

TF（词频）：词在文档中出现次数。

IDF（逆文档频率）：词越稀有，权重越高。

作用：匹配“用户查询词”和“网页内容”的相关度。

（2）PageRank：网页重要性（Google成名核心）

把网页看成节点，超链接看成有向边。

核心思想：“重要页面链接的页面也重要”。

公式（带阻尼因子d≈0.85）：\(PR(i)=d\cdot\sum_{j\toi}\frac{PR(j)}{L(j)}+(1-d)\cdot\frac{1}{N}\)

d：阻尼因子（随机继续点击的概率）

\(L(j)\)：页面j的出链数

N：总网页数

\((1-d)/N\)：随机跳转到任意页面的概率（防死胡同）

（3）RankBrain现代AI排序

2015年后加入，用深度学习理解语义与用户意图。

处