SEO实战密码：搜索引擎工作原理三个阶段简介参照.pdfVIP

SEO实战密码：搜索引擎工作原理三个阶段简介 搜索引擎工作过程非常复杂， 接下来的几节我们简单介绍搜索引擎是怎样实现网 页排名的。这里介绍的内容相对于真正的搜索引擎技术来说只是皮毛，不过对 SEO人员已经足够用了。 搜索引擎的工作过程大体上可以分成三个阶段。 （1）爬行和抓取： 搜索引擎蜘蛛通过跟踪链接访问网页， 获得页面 HTML代码存 入数据库。 （2）预处理：索引程序对抓取来的页面数据进行文字提取、中文分词、索引等 处理，以备排名程序调用。 （3）排名：用户输入关键词后，排名程序调用索引库数据，计算相关性，然后 按一定格式生成搜索结果页面。 爬行和抓取 爬行和抓取是搜索引擎工作的第一步，完成数据收集的任务。 1．蜘蛛 搜索引擎用来爬行和访问页面的程序被称为蜘蛛 （spider ），也称为机器人 （bot ）。 搜索引擎蜘蛛访问网站页面时类似于普通用户使用的浏览器。 蜘蛛程序发出页面 访问请求后，服务器返回 HTML代码，蜘蛛程序把收到的代码存入原始页面数据 库。搜索引擎为了提高爬行和抓取速度，都使用多个蜘蛛并发分布爬行。 蜘蛛访问任何一个网站时，都会先访问网站根目录下的 robots.txt 文件。如果 robots.txt 文件禁止搜索引擎抓取某些文件或目录，蜘蛛将遵守协议，不抓取 被禁止的网址。 和浏览器一样， 搜索引擎蜘蛛也有标明自己身份的代理名称， 站长可以在日志文 件中看到搜索引擎的特定代理名称， 从而辨识搜索引擎蜘蛛。 下面列出常见的搜 索引擎蜘蛛名称： · Baiduspider+ （+/search/spider.htm ） 百度蜘蛛 · Mozilla/5.0 （compatible; Yahoo ！ Slurp China; http://misc.yahoo.c /help.html ） 雅虎中国蜘蛛 · Mozilla/5.0 （compatible; Yahoo ！ Slurp/3.0; /help/us/ysearch/slurp ） 英文雅虎蜘蛛 · Mozilla/5.0 （compatible; Googlebot/2.1; +/bo t.html ） Google 蜘蛛 · msnbot/1.1 （+/msnbot.htm ） 微软 Bing 蜘蛛 · Sogou+web+robot+ （+/docs/help/webmasters.htm#07 ）搜狗蜘蛛 · Sosospider+ （+/webspider.htm ） 搜搜蜘蛛 · Mozilla/5.0 （compatible; YodaoBot/1.0; /help/ webmaster/spider/; ） 有道蜘蛛 2 ．跟踪链接 为了抓取网上尽量多的页面， 搜索引擎蜘蛛会跟踪页面上的链接， 从一个页面爬 到下一个页面， 就好像蜘蛛在蜘蛛网上爬行那样， 这也就是搜索引擎蜘蛛这个名 称的由来。 整个互联网是由相互链接的网站及页面组成的。 从理论上说， 蜘蛛从任何一个页 面出发，顺着链接都可以爬行到网上的所有页面。 当然， 由于网站及页面链接结 构异常复杂，蜘蛛需要采取一定的爬行策略才能遍历网上所有页面。 最简单的爬行遍历策略分为两种，一种是深度优先，另一种是广度优先。 所谓深度优先， 指的是蜘蛛沿着发现的链接一直向前爬行， 直到前面再也没有其 他链接，然后返回到第一个页面，沿着另一个链接再一直往前爬行。 如图 2-20 所示，蜘蛛跟踪链接，从 A 页面爬行到 A1，A2，A3，A4，到 A4 页面 后，已经没有其他链接可以跟踪就返回 A 页面，顺着页面上的另一个链接， 爬