武汉法律服务网搜索引擎工作原理.docxVIP

搜寻引擎工作原理 一、以蜘蛛程序为基础的全文搜寻引擎(CrawlerBasedSearchEngine 这类搜寻引擎经过蜘蛛程序英文叫做Robot, Spider或Crawler）自动收录网页，是真实意义上的搜寻引擎，外国的Google、Fast(AllTheW eb、AltaVista、Inktomi都是属于这各样类的搜寻引擎。国内的百度过去也是纯粹的全文搜 索引擎，今后在搜寻结果中引入竞价排名收费模式，当有要点字广告时，全部要点字广告 出此刻自然搜寻结果的前面，外国还没有一个全文搜寻引擎敢这么做，由于这会影响搜寻 引擎的质量。 1.蜘蛛抓取过程 搜寻引擎用来爬行和接见页面的程序被称为蜘蛛spider），也称为机器人bot）。 搜寻引擎蜘蛛接见网站页面时近似于一般用户使用的阅读器。蜘蛛程序发出页面接见 恳求后，服务器返回HTML代码，蜘蛛程序把收到的代码存入原始页面数据库。搜寻引擎 为了提升爬行和抓取速度，都使用多个蜘蛛并发分布爬行。 蜘蛛接见任何一个网站时，都会先接见网站根目录下的robots.txt文件。假如robots.txt 文件严禁搜寻引擎抓取某些文件或目录，蜘蛛将恪守协议，不抓取被严禁的网址。 和阅读器相同，搜寻引擎蜘蛛也有注明自己身份的代理名称，站长能够在日记文件中 看到搜寻引擎的特定代理名称，从而鉴识搜寻引擎蜘蛛。下边列出常有的搜寻引擎蜘蛛名 称： ·Baidu