SEO基础课件第41章 robots和 与网站地图.txt.ppt

第*页/共41页 robots与网站地图 第41章 网站内容优化 第2页/共30页 网站优化 站内因素 站外因素 其它因素 ? 域名和空间 ? URL结构 ? 站内链接 ? 301重定向 ? 站内代码 ? 关键词布局 ? 关键词密度 ? 更新规范 ? 外链质量 ? 外链总数量 ? 外链域名总数量 ? 域名年龄 ? 死链接与404页面 ? 用户体验 ? 网站收录 ? robots ? 网站地图 优化思路 第3页/共30页 本课目标 了解robots.txt的作用 掌握robots.txt的写法 掌握robots meta标签的写法 了解网站地图的作用 学会制作网站地图 第4页/共30页 目录 robots.txt 1 robots meta标签 2 网站地图 3 第5页/共30页 想一想 你可能会绕过此地继续游览 你也可能会想办法偷偷溜进去 网站针对蜘蛛设的指示牌是robots.txt 当你进入一个景点游览时，有的地方有指示牌提示此景点暂停开放，你会怎么办？ 提问 第8页/共30页 robots.txt的作用 robots.txt的作用 防止私密或重要内容被搜索引擎抓取 节省服务器资源，从而提高服务质量 减少重复抓取，提高网站质量 指定sitemap文件位置 第9页/共30页 robots.txt的写法 robots.txt放置在一个站点的根目录下，而且文件名必须全部小写 例如： /robots.txt 其中robots.txt不能写成Robots.txt必须全部小写 robots.txt 第10页/共30页 robots.txt的常用语法 User-agent: * 针对哪个搜索引擎蜘蛛 这里的*代表搜索引擎种类，*是通配符 第11页/共30页 robots.txt的语法 Allow 定义的是允许蜘蛛抓取某个栏目或文件 Allow: /cgi-bin/　 这里定义是允许访问cgi-bin目录 Allow:/* .htm$ 允许访问以.htm为后缀的URL $指的是匹配行结束符 *指的是匹配任何字符 第12页/共30页 robots.txt的语法 Disallow 定义的是禁止蜘蛛抓取某个栏目或文件 Disallow: /admin/ 这里定义是禁止抓取admin目录 Disallow: /cgi-bin/*.htm 禁止抓取/cgi-bin/目录下的所有以.htm为后缀的URL Disallow: /*?* 禁止抓取网站中所有包含问号 “?”的网址 第13页/共30页 robots.txt语法案例 User-agent: *Disallow: / User-agent: *Allow: / User-agent: BaiduspiderDisallow: / User-agent: BaiduspiderAllow: /User-agent: GooglebotAllow: /User-agent: *Disallow: / 第14页/共30页 robots.txt的用法 sitemap: /sitemap.xml sitemap：URL全称（包含http://部分） 告诉搜索引擎蜘蛛这个页面是网站地图 第15页/共30页 robots.txt的常见错误 顺序颠倒的错误 错误写法 User-agent: / Disallow: Googlebot 正确写法: User-agent: Googlebot Disallow: / 多个禁止命令放在一行中的错误 错误写法 User-agent: * Disallow: /css/ /cgi-bin/ /images/ 正确写法： User-agent: * Disallow: /css/ Disallow: /cgi-bin/ Disallow: /images/ 第16页/共30页 robots.txt的常见错误 行前有大量空格的错误 错误写法 User-agent: * ??? Disallow: /cgi-bin/ 正确写法 User-agent: * ?? Disallow: /cgi-bin/ 忘记斜杠”/” 错误写法（这样写表示可以抓取任何页面） User-agent: * ?? Disallow: 正确写法 User-agent: * ?? Disallow:/ 第*页/共30页 小结 robots.txt的介绍 robots.txt的语法 User-agent: Disallow: Allow: robots.txt