站长平台全新上线Robots工具助力网站管理.pdfVIP

各位管理员：

大家好！

站长平台robots工具全新上线，新上线的robots工具面向全部开放。管理员

可登录站长平台：直接使用，帮助管理员了解的

robots设置情况是否正常，避免错误地封禁搜索引擎。站长可根据自己的需求设置好封禁规

则，生成新的robots文件，上传到根目录下。还可以及时，robots文件已经

进行了更新。

什么是robots.txt文件?

搜索引擎使用spider程序自动互联网上的网页并获取网页信息。spider在一个网

站时，会首先会检查该的根域下是否有一个叫做robots.txt的纯文本文件，这个文件

用于指定spider在您上的抓取范围。您可以在您的中创建一个robots.txt，在文

件中该中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。

为什么要使用robots工具

1.避免误封禁带来的损失：

管理员在管理时，如robots文件书写不规范甚至是错误的书写，造成错误地

封禁搜索引擎，某些目录甚至全站搜索引擎抓取，给带来不必要的流量损

失，使用robots工具可检测robots文件是否符合管理员的设置，避免以上损失

2.及时“更新”：

Robots工具上线前，如管理员将Robots文件设置错误，但发现了错误进行修

改，修改后的robots文件需要等待再次抓取时更新，这个更效时间难以得到保

障。使用robots工具，可点击“更新”按钮，及时以最快速度进行“更新”，避免

在等待更新的过程中造成的误封禁

robots工具的两个主要功能

1、检测robots:

自动检测的robots文件地址，给出其中的内容解析，以及反馈此文件在的记录状

态，帮助站长更好的了解自己的robots文件是否符合预期

2、自动生成新的robots

为保证站长使用正确的robots文件，避免的抓取异常，此工具了自动生成robots

文件的功能，站长根据自己的需求设置好封禁规则，将生成的robots文件直接上传到

根目录下即可，如果希望及时更新，在工具的检测结果的后续操作中，选择更新robots

文件即可

怎样使用robots工具：

第一步，并登录站长平台（）

第二步，选择左侧导航栏的“通用工具——robots工具”即可

第三步，进入检测robots文件功能页面，点击“检测robots.txt”,输入查询后即可

得到检测结果和分析，如下图所示

1.以上页面中输入了，检测结果是下有四个目录baidu、shifen、

homepage、cpro对baiduspider设置了封禁，并给出了robots文件更新时间为4

月16日

2.若robots内容不符合您的预期，您可选择：生成robots功能，自动生成需要的robots

文件

3.如果的更新与您的更改时间不符，您可选择“更新”的robots文件，为保证

您数据的安全，此功能需要您先验证查询的归属后才能使用

第四步，如果您想自动生成需要的robots文件，点击“生成robots.txt”，设置允许抓取

和不允许抓取的目录，则会自动生成一个robots,并可，后传至根目录即可，

如下图所示

温馨提示：

1、只有当您的中包含不想让搜索引擎抓取的内容时，才需要使用robots.txt文件，如

没有使用robots.txt文件，避免出现误封禁。

2、当您的中包含不想让搜索引擎抓取的内容时，您可以使用生成robots.txt功能，按

照您的需求生成正确的robots.txt文件。

3、保存生成的robots.txt文件后，应将文件保存到您的顶级目录下。robots.txt文件