了解百度“蜘蛛”工作的原理迅速提升收录量.pptxVIP

了解百度“蜘蛛”工作的原理 迅速提升收录量百度搜索引擎有一个俗称蜘蛛的自动程序(英文名是Baiduspider)，它的作用是访问互联网上的网页、图片、视频等内容，建立索 引数据库，使用户能在百度搜索引擎中搜索到您网站的网页、图片、视频等内容。搜索引擎的基本工作原理包括如下三个过程：首先在互联网中发现、搜集网页信 息;同时对信息进行提取和组织建立索引库;再由检索器根据用户输入的查询关键字，在索引库中快速检出文档，进行文档与查询的相关度评价，对将要输出的结果 进行排序，并将查询结果返回给用户。高端婚礼策划优化者分析如下。1、可能被判断会被收录进数据库的信息 我很多时都逛很多知名的数码网站，发现他们的内容很多都是千遍一律的互相采集(复制)，并且没有作任何修改处理，居然还被各大搜索引擎收录展示。可怜 的小站长辛苦采集了成千上万的数据，再苦等一段日子后，居然只有首页或大不了多几个站内页面被收录。是否有有人埋怨这太不公平了，为何他们采集数据可以被 收录，而我的不行。百度搜索引擎收录机制其中有一个这样的参考因素，权重(就是搜索引擎对站点权威的判断)。网站被蜘蛛捕捉过的第一天起就会一直监视网站的一举一动，并且给出该网站的域名一个分数作为衡量权重有多高。阳光小宅博客认为影响权重的 其中一个主要因素，以新浪网为例，它被百度搜索引擎监测到很多独家内容(原创)从第一现场被转载到其它地方，还有很多带有文字链接和不带链接的静 态网址、网站名称(新浪网、新浪)频繁地出现在各大小网站也即曝光率。 其实搜索引擎这样的收录机制去处理数据是非常明智的，不但节省了时间、还减轻了服务器的负担，也是非常有经济效益的手段。网站权重高低的收录待遇假设：A 站和 B 站等权重都为 9 分，大于 C 站权重为 2 分;(1)如果 A 站采集了 B 的内容，搜索引擎多数会收录，并快速显示搜索结果(2)如果 A 站采集了 C 的内容，搜索引擎多数会收录，并快速显示搜索结果(3)如果 C 站采集了 A 站、B 站的内容，可能不会被收录，又或者就算收录了也要好几天会显示出搜索结果高权重网站无论向是否同级别的网站获取内容会更容易被收录，并且会快速显示出来。因为高权重的网站在搜索引擎里面代表的是一种权威性、曝光度，所以搜 索引擎就很可能会认为该网站提供的信息无论与否采集、历史是否悠久的内容对于网民很有可能是有一定需要。也意味着这个网站上的信息平时很多人浏览、传播速 度很快，及时把内容收录起来并以最快速度向进行搜索的用户展示其相关结果是非常有必要的，从而提升用户在搜索引擎中的良好体验。2、蜘蛛只不过是也采集器，只是比较先进而已。作为全球最大的中文搜索引擎，面对着单单要处理的中文网站目前就有几百万个，那么网站内页的数量就如天上的繁星。现在从科学的角度来个假设，既然百度 蜘蛛叫得上为自动程序，那么的是会越来越先进的东西(就像未来的机器人一样越来越智能了)，让它们能够自动判断捕捉到的页面内容到底有没有用，有的话 就直接把数据放进口袋，然后再根据当前页面的链接爬到新的页面来个循环捕捉，直到口袋装满了就把信息带回去给服务器经过一系列更加专业的计算去对比……去 判断是否需要正式收录进数据库。整个过程就像采集器一样，按照预先设置好采集规则，然后过滤不符合规则的信息。