避免蜘蛛陷阱的技巧.docxVIP

避免蜘蛛陷阱的技巧

蜘蛛陷阱是阻止蜘蛛程序爬行网站的障碍物，虽然网页界面看起来

非常正常，但这些蜘蛛陷阱会对蜘蛛程序造成障碍。哪些做法不利于蜘

蛛爬行和抓取呢?怎么去避免这些蜘蛛陷阱呢?下面随小编来了解一下!

?1、登录要求

?有些企业站和个人站设置一定要用户注册登录后，才能看到相关

的文章内容，这种对蜘蛛不是很友好，因为蜘蛛无法提交注册，更无法

输入用户名和密码登录查看内容。对于蜘蛛来说，用户直接点击查看到

的内容也是蜘蛛所能看到的内容。如果你的网站有这种情况，请取消这

一功能，但网站如果有VIP用户或部分资源，是可以这样设置的。

?2、动态URL

?动态URL可以简单理解为在URL中加入过多的符号或者网址参

数，虽然随着搜索引擎的技术发展，动态URL对于蜘蛛的抓取已经越

来越不是问题了，但是从搜索引擎友好度上讲，静态哪陷是伪静态相对

来说都比动态URL要好。URL优化将在本章第6节中讨论。/

?3、强制用Cookies

?强制用Cookies对于搜索引擎来说相当于直接禁用了Cookies，

而有些网站为了实现某些功能。会采取强制Cookies，例如跟踪用户访

问路径，记住用户信息，甚至是盗取用户隐私等，如果用户访问这类站

点时没有启用Cookies，所显示的页面就会不正常。所以，对于蜘蛛来

讲，同样的网页无