关于百度蜘蛛 反馈 错误 状态 代码的初步探讨与解决办法。.docVIP

关于百度蜘蛛 反馈 错误 状态 代码的初步探讨与解决办法。 其实在泡这么几个月论坛，发现有一部分人是不太注意百度蜘蛛的爬行情况和状态码返回情况，觉得百度蜘蛛的爬行数量没有规律，不能作为网站优化的重要依据。个人认为如果百度蜘蛛一直来爬行数量相差不多(包括爬行数量不至于过少，如几十以下)那么就不必太过理会。但是如果蜘蛛数量急剧下降，那么就要注意看看在这时间蜘蛛爬行的状态代码变化。进而根绝状态代码来对症下药。 找过很多资料，网上资料多错误代码并没有详细的说明以及处理办法。那么下面就以我建站4个多月来遇到的一些错误代码，说说我的处理办法。 一、首页大量错误代码30400 网上资料解释: -- NotModified客户端有缓冲的文档并发出了一个条件性的请求(一般是提供If-Modified-Since头表示客户只想比指定日期更新的文档)。服务器告诉客户，原来缓冲的文档还可以继续使用。 如果客户端在请求一个文件的时候，发现自己缓存的文件有LastModified，那么在请求中会包含IfModifiedSince，这个时间就是缓存文件的LastModified。因此，如果请求中包含IfModifiedSince，就说明已经有缓存在客户端。只要判断这个时间和当前请求的文件的修改时间就可以确定是返回304还是200。对于静态文件，例如:CSS、图片，服务器会自动完成LastModified和IfModifiedSince的比较，完成缓存或者更新。但是对于动态页面，就是动态产生的页面，往往没有包含LastModified信息，这样浏览器、网关等都不会做缓存，也就是在每次请求的时候都完成一个200的请求。 因此，对于动态页面做缓存加速，首先要在Response的HTTPHeader中增加LastModified定义，其次根据Request中的IfModifiedSince和被请求内容的更新时间来返回200或者304。虽然在返回304的时候已经做了一次数据库查询，但是可以避免接下来更多的数据库查询，并且没有返回页面内容而只是一个HTTPHeader，从而大大的降低带宽的消耗，对于用户的感觉也是提高。 当这些缓存有效的时候，通过HttpWatch查看一个请求会得到这样的结果: 第一次访问200 鼠标点击二次访问(Cache) 按F5刷新304 按Ctrl+F5强制刷新200 如果是这样的就说明缓存真正有效了。以上就是我对HTTP304的一个理解。 --- 从上面的解释再对比百度蜘蛛爬行我网站的时间情况，的确是在离上一次爬行之后没有做过修改，返回304状态码。如果可以确定不是首页一直没有更新情况的朋友可以不必太过理会304状态码，不影响百度对网站的爬行与收录。如下图为我站返回304错误代码的截图 二、404060状态码 网上资料解析: --- HTTP404错误意味着链接指向的网页不存在，即原始网页的URL失效，这种情况经常会发生，很难避免，比如说:网页URL生成规则改变、网页文件更名或移动位置、导入链接拼写错误等，导致原来的URL地址无法访问;当Web服务器接到类似请求时，会返回一个404状态码，告诉浏览器要请求的资源并不存在。从上面解析可以看出出现如上错误的原因是百度蜘蛛收到服务器返回的不存在页面的状态码。从我遇到的情况，可分为如下几种情况: 1、指向删除文章对应的链接未及时处理:对照蜘蛛爬行的链接，检查网站上是否的确不存在这样的页面。如果不存在，那么说明在其他上有存在指向此页面的链接，由于没有及时处理而被百度蜘蛛爬行。这样的情况如果量大会照成百度蜘蛛对网站的不信任，快照更新慢，收录少。处理办法是:把对应指向这些页面的链接找出并删除! 2、编写的代码有错误引起问题:由于编写的代码错误，如文件的路径是使用相对路径，那么可能在不同级别下生成的静态文件路径变化引起的链接不存在情况。如下图我网站之前因为css编写不规范导致导致大量不存在的链接。 处理办法是:对模版文件进行修改，重新再次生成，那么之后这些错误码的条数会慢慢减少，最后消失。 1、存在指向不存在页面的外链: 这类情况的确很可能发生，可能是别人对您网站进行采集。 百度数据库已收录此链接，但没放出，再次到您网站进行核查情况。 自己之前在别人网站做过外链，但后来文章被删除。百度顺着外链爬到网站返回错误代码。 处理办法:对这类情况不必太过理会，百度爬过几次后会放弃爬行，错误代码会消失。 2、有目的地删除文章，这类情况的确很大可能让百度蜘蛛爬行网站时返回404错误代码，但也是不必理会，之后百度不会对此再此爬行。个人不建议采用404错误页面跳转的方式。任何类型的跳转给百度认为都是为优化而优化。不做跳转而是及删除指向这些页面的链接才是最好的办法。 三、301064状态码 网络资料: 在我们网站建设中，时常会