【基础教程】robots文件禁止收录使页面质量更高.docVIP

.. .. [seo研究中心基础教程]robots文件禁止收录使页面质量更高 文章收集整理来自 seo研究中心 robots文件主要是为了防止搜索引擎收录和索引特定的页面。减小复制内容的出现。如，同时具有动态URL和静态URL，它们同时指向相同的页面。如果搜索引擎同时收录就会造成复制页面。1.robots文件放在哪里robots文件放在网站根目录下，搜索引擎进入网站查看的第一个文件就是 robots文件。 robots文件是规定搜索引擎抓取范围的文件。如果我们希望网站某些页面不被抓取，只需要创建一个 robot.txt，写入禁止收录的页面并上传到网站根目录下。