SEO内部链接优化(下)V概述.pptVIP

User-agent 用于描述搜索引擎robot的名字 在robots.txt文件中，如果有多条user-agent记录说明有多个robot会受到“robots.txt”的限制，至少要有一条user-agent记录 如果该项的值设为*，则对任何robot均有效，在“robots.txt”文件中，user-agent这样的记录只能有一条。 表示指定下面的规则适用于那个蜘蛛 Disallow 该项的值用于描述不希望被访问的一组URL，这个值可以是一条完整的整径，也可以是路径的非空前缀，以disallow项的值开头的URL不会被robot访问 如果”/robots.txt”不存在或者为空文件，则对于所有的搜索引擎robot，该网站都是开放的 禁止所有搜索引擎访问网站的任何部分 user-agent：* disallow：/ user-agent：* disallow：/cgi-bin/ 每一行必须分开写 Disallow： 允许抓取所有的内容 allow 该项的值用于描述希望访问的一组URL，与disallow项相似，这个值可以是一条完整的路径，也可以是路径的前缀，以allow项的值开头的URL是允许robot访问的。 允许所有的robot访问的写法有两种： User-agent：* allow：/ 另一种写法是user-agent：* disallow: User-agent: * Disallow: 或者 User-agent: * Allow: / 注意，可以最直接的建一个空文件 “Robots.txt”然后放到网站的根目录。 允许所有搜索引擎访问 01 Robots.txt文件具体写法 User-agent: * Disallow: / 或者 User-agent: * allow: 禁止所有搜索引擎访问 02 Robots.txt文件具体写法 禁止所有搜索引擎访问网站中的几个部分 03 在这里用a、b、c目录来代替 User-agent: * Disallow: /a/ Disallow: /b/ Disallow: /c/ 如果是允许，则是 Allow: /a/ Allow: /b/ Allow: /c/ User-agent: w（比如用w来代替） Disallow: / 或 User-agent: w Disallow: /d/*.htm 在Disallow:后面加 /d/*.htm的意思是禁止访问/d/目录下的所有以”.htm”为后缀的URL,包含子目录。 禁止某个搜索引擎的访问 04 Robots.txt文件具体写法 只允许某个搜索引擎的访问 05 User-agent: e（用e来代替） Disallow: 在Disallow：后面不加任何东西，意思是仅允许e访问该网站。 User-agent: * Allow: .htm$ Disallow: / 意思是仅允许访问以”.htm”为后缀的URL 使用”$”限制访问url 06 Robots.txt文件具体写法 User-agent: * Disallow: /*?* 禁止访问网站中所有的动态页面 07 User-agent: F Disallow: .jpg$ Disallow: .jpeg$ Disallow: .gif$ Disallow: .png$ Disallow: .bmp$ 意思是只允许引擎抓取网页，禁止抓取任何图片（严格来说，是禁止抓取jpg、jpeg、gif、png、bmp格式的图片。） 禁止搜索引擎F抓取网站上所有图片 08 Robots.txt文件具体写法 只允许搜索引擎E抓取网页和.gif格式图片 09 User-agent: E Allow: .gif$ Disallow: .jpg$ Disallow: .png$ 意思是只允许抓取网页和gif格式图片，不允许抓取其他格式图片 Robots.txt文件用法举例 腾讯网、淘宝网、新华网robots.txt分析 案例： 案例： 案例： Robots.txt使用 主流搜索引擎都遵守robots.txt文件指令，文件中禁止的网页，搜索引擎不会去访问。 不代表用户在搜索的时候不出现，只要有导入链接指向这个URL，搜索引擎就知道这个URL存在，虽不抓取内容，但还是会以以下几种形式显示： 1 只显示URL，没有标题、描述。 2 显示开放目录或雅虎等重要目录收录的标题和描述 3 导入链接的锚文本显示为标题和描述 4 要想完全不出现在搜索结果，可使用meta robots Meta robots Meta robots标签是页面head部分meta标签的一种，用于指令搜索引擎禁止索引文本内容。 最简单的Meta robot