ISEO具体实施文件附件资料.docVIP

制作日期：2011.1.4 完善日期：不定期 前言：为方便阅读，请把word调整为文档结构图模式（视图菜单――勾选“文档结构图”） 为什么要有robots.txt文件 robots.txt就是搜索引擎中访问网站的时候要查看的第一个文件。Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的. 1。现在的SEOER都恨不得自己的网站全给蜘蛛抓住，所以往往都忽略了robots.txt，而不去添加，以为蜘蛛就会自动默认抓取全部的页面，这个是误区，切记切记，因为每次用户访问不存在的url的时候，服务器都会自动添加上一个错误那就是404的错误（自己可以乱输入一个网站你自己看看是不是有个404的错误），而我们每当搜索的时候，蜘蛛去寻找我们搜索的网站，而恰恰没有robots.txt，那么也会自动加上一条404的错误，累积太多后，引擎就判断你这个网站是不存在的，直接把你判刑了！直接不收录了。 2。要不然就是把robots.txt全部都设置为可被蜘蛛抓取，这样可以全部增加曝光率？这也是错误的，打个比方，你叫一个邮递员送货到你家，其实你只需要告诉你需要送往的地方就可以了，可你偏偏不，而是把自己的姨妈姑妈老妈干妈的地址全说了一遍，你觉得这个邮递员会不会觉得你有点问题？明白我的意思了吗？浪费服务器资源！引擎最讨厌这样，所以出现这样的情况，引擎也会把你判刑了。 3。我们可以在robots.txt里稍微设置一下，就可以和引擎蜘蛛交好哦，蜘蛛最讨厌的是什么？后台管理文件、程序脚本、附件、数据库文件、编码、样式表、模板、导航图片和背景图片，这些全是蜘蛛最恶心的东西，好，那么我们全都屏蔽了！怎么做？写入Disallow: /cgi-bin，就OK了！蜘蛛就会发现你人真够哥们，让我来的这么舒服，好，给你个优！下次直接过来了！ 4。动态网页，让我们又爱又恨。爱的地方是先进，恨的地方是引擎不收录！这情况怎么做到让引擎收录呢？我们继续利用robots.txt来完成，首先我们创建一个静态的副本，然后在robots.txt里再设置动态避免被蜘蛛嗅探到，以保证网页不会被视为重复的内容，不就OK啦？哈哈，这不是黑帽哦！而是活生生的白帽哦！ 5。robots.txt还能让我们轻松很多，站长朋友都应该知道提交sitemap是很繁琐的吧？嘿嘿，其实我们有个好技巧，就是把sitemap直接写在robots.txt就可以了，这样蜘蛛每次过来就会直接读取里面的sitemap了。 关键字对应的URL 未完成 行业和门户网站 百度 中国建材采购网 / 慧聪网 中国建材第一网（/classId-006001/） 中国建材网 百家信建材网 阿拉丁照明网 / 中国照明网 / 中国LED网 中国照明灯具网 / 66照明导航网 / 照明技术网 LED照明 / 一步电子网 / 照明网工程师论坛 / 中国灯泡网 / 照明中国网 / 中国照明广告网 财运通 中国led网 以下好像都需要交费 / 威客中国 / LED广告照明网 http://www.jiancai.cc/ 中国建材网 中国建材网 / 中国城市照明网 / 中国LED照明网 / 中国半导体照明网 SEO工具 / seo综合查询 /baidu/words.aspx / 百度搜索指数，可查看关键字的热门程度。逗号分隔多个关键字。 /analytics/ dongjian1984@163.com 内容与结构工具 搜索引擎抓取内容模拟器 可以模拟蜘蛛抓取指定网页Text,Link,Keywords及Description信息 /search-engine-spider-simulator.php 相似页面检测工具 检验两个页面的相似度.如果相似度达80%以上,将可能受到惩罚 /similarchecker.php Google Sitemaps 在线创建 在线创建 Google Sitemaps 网站地图文件 中文:/sitemap/s