网站robots.txt文件配置与搜索引擎抓取控制指南.pdfVIP

robots是干什么用的？就是告诉搜索引擎：以下文件夹的内容是不允许你看的！如下所示的

robots：

用户：*抓取：/

管理员目录/抓取：/

旧/爱情目录/抓取：/

007.html文件

这就是告诉搜索引擎：admin目录、old下面的love目录、以及007.html文件，请不

要收录；

为什么不要搜索引擎看？有以下几种情况：

（1）这些内容涉及，比如说的登陆地址；（2）一

些公司的老文件，不想被客户看到，但是也不想删除掉；（3）一

些非常没用的页面；（4）最猛的是第四种：跟有仇。

案例，我找到了网的robots.txt，请去输入：

User‑agent:蜘蛛抓取:

/User‑agent:baiduspider禁

止抓取:/

网全面蜘蛛，写法如上。也就是哪个文件夹你不想搜索引擎看到，就在disallow后面

加上即可。

如果你不想知道原理，就直接照抄如下吧，放在的根目录下，就是跟首页文件同一

目录：

User‑agent:

*Disallow:

大家直接照抄就行了，无须记忆。使用方法：

(1)上段2行进入记事本，保存为txt文件；(2)写

完这个robots.txt文件，就直接上传到FTP空间上。

2、提交搜索引擎，提交搜索引擎可以让你更好地被收录：

robots是干嘛用的？就是告诉搜索引擎说：以下文件夹的内容是不允许你看的！如下面的

robots：

User-agent:*

Disallow:/admin/

Disallow:/old/love/

Disallow:/007.html

这就是告诉搜索引擎：admin文件夹、old下面的love文件夹、和007.html文件，请不要去

收录；

为什么不要搜索引擎看？有以下几种情况：

（1）这些内容涉及，比如说的登陆地址；

（2）一些公司的老文件，不想被客户看到，但是也不想删除掉；

（3）一些非常没用的页面；

（4）最猛的是第四种：跟有仇。

案例，我找到了网的robots.txt，请去输入：

User-agent:BaiduspiderDisallow:/

User-agent:baiduspider

Disallow:/

网全面蜘蛛，就是以上的写法了。就是哪个文件夹你不想搜索引擎看到，就在

disallow后面加上。

如果你不想知道原理，就直接照抄如下吧，放在的根目录下，就是跟index文件同一目

录：

User-agent:*

Disallow:

大家直接照抄就行了，无须记忆。使用方法：

（1）上段2行进入记事本，保存为txt文件；

（2）写完这个robots.txt文件，就直接上传到ftp空间上。

2、提交搜索引擎，提交搜索引擎可以让你更好的收录：

:

谷歌:

将你的提交给搜索引擎，它会让你更好地被收录。

3、sitemap，做好sitemap有益于收录的各类页面：

这个就是地图，做一个sitemap.xml文件，这个一般是要用工具生成的，中文的生

成工具都不太好。有哪位能一下？

地图的目的：是通过蜘蛛抓取你的的每一页，但是有可能有的页面由于偶然因素，

来了几次都没看到。为了让的看到你的那些不隐藏着的网页，就用地图

作索引页，这样更容易发现这个页面。

4、404页面

什么是404页面？就是有的你点击过去，因为某些是死（可能也是无意的），

死在搜索引擎眼中是很差的评价。所以我们就做一个页面，叫做“404页面”，这样

任何死打开都是404页面，这样对蜘蛛的友好度就没有问题。

这些技术理论现