网站端SEO技术指标.docVIP

网站端SEO技术指标 影响抓取/索引的指标 Robots文件 【文件作用】 用于告诉搜索引擎哪些页面可以抓取，哪些页面抓取 屏蔽站点内的死链接。 设置网站地图链接，便于引导搜索蜘蛛爬取页面。 【用法示例】 在robots.txt文件实际应用过程中，以下语句会经常使用到，用以让搜索爬虫抓取正确的页面： Disallow: /abc/ 禁止/abc/目录下的所有URL Disallow: /abc/*.php 禁止/abc/目录下的所有以.为后缀的URL Disallow: /*?* 禁止访问网站中所有包含问号 (?) 的网址，可用于屏蔽动态URL。 Disallow: /.jpg$ 禁止抓取网站上所有的.jpg格式的图片，仅允许抓取网页和其他格式图片。 Sitemap: 网站地图 告诉爬虫这个页面是网站地图 【注意事项】 无论网站是否存在需要屏蔽爬虫抓取的目录或页面，都必须在站点根目录下创建robots.txt文件。 Baiduspider支持使用通配符*和$来模糊匹配URL。*?匹配0或多个任意字符$?匹配行结束符。 User-agent: * Allow: / 服务器IP屏蔽 服务器屏蔽爬虫IP对网页抓取及收录是致命的。当网站页面迟迟不收录或者爬虫不来爬行页面，首要任务就是检查Web Server有没有屏蔽过某些IP地址。 【应用说明】 使用IP查询工具（）可以初步判定某IP是否