各大引擎的robot.txt具体分析.docVIP

代表禁止所有的支持robots.txt文件的搜索引擎访问： User-agent: * Disallow: / 查看robots.txt规则的地址： 1.baiduSpider 资料参考页面：/search/spider.htm robots.txt书写规范参考地址：/search/robots.html 百度各个产品使用不同的user-agent： 产品名称 对应user-agent 无线搜索 Baiduspider 图片搜索 Baiduspider-image 视频搜索 Baiduspider-video 新闻搜索 Baiduspider-news 百度搜藏 Baiduspider-favo 百度联盟 Baiduspider-cpro 商务搜索 Baiduspider-ads 网页以及其他搜索 Baiduspider 如果分析服务器日志中发现如下代码，则为baiduSpider爬行抓取： $ host 20 23. domain name pointer . host 54 19. domain name pointer BaiduMobaider-119-63-195-254.crawl.baidu.jp. 百度投诉平台：/webmaster/add/#2 2.GoogleSpider 3.YahooSpider 4.SosoS