认识网站中的rbots与网站地图.pptVIP

总结 网站地图的作用 为搜索引擎蜘蛛提供可以浏览整个网站的链接 为搜索引擎蜘蛛提供一些链接 可以为搜索流量进行优化 网站地图构建技巧 网站地图要包含最重要的一些页面 布局要简洁，所有的链接都是标准的HTML文本 尽量在站点地图上增加文本说明 在每个页面里面放置网站地图的链接 确保网站地图里的每一个链接都是正确、有效的 可以把sitemap写进robots.txt里 课程内： 收录、抓取是同一个意思， 爬行是另一个意思 * 1大小网站都要注意 2一般大型网站才会考虑限制 搜索引擎蜘蛛的爬行，小网站几乎不用考虑，因为搜索引擎一天来一两次就不错了。 * 1可以举例下载页面 2 * * Disallow: /catalogs 包含子目录 Disallow: /pagead/ 特指pagead目录 * * User-agent: * ??Disallow: 这个意思全反了，成了不限制了 * 课程内： 收录、抓取是同一个意思， 爬行是另一个意思 * index /noindex是否抓取这个页面 follow /nofollow是否根据页面上的链接继续抓取下去 archive /noarchive是否允许建立快照 只有google能很好的识别 snippet /nosnippet要不要在搜索结果页的列表里显示含此标签的网站