关于Robots.txt无法禁止收录的小看法.pptxVIP

关于 Robots.txt 无法禁止收录的小看法;收录，或者某些不需要被收录并分享权重的页面等等。从这个 方面来讲，robots.txt 约束了搜索引擎的行为。;robots.txt 写法出现错误的可能，但此文建立在正确撰写 robots.txt 的前提下。有一个很官方的说法是这样的：网站 robots.txt 中对某个网页屏蔽了蜘蛛的收录，但搜索引擎还是 会对该网页进行抓取，只不过在相关搜索结果中不会展现这些 网页内容。这句话咋一看有些令人费解，但据笔者的看法，还 是很有可能的。;搜索引擎必然要对这些网站进行相应的了解，然后在权衡是否 将其收录并给予如何的排名打个比方，如果要做一个非法的网 站，先假设网站内容没有被监管部门查到，也不考虑以下这个 方法的好坏与否。当然，如果直接采用相关的关键词做网站 seo 优化，在得到更高曝光率的同时也大大增加了被查封的可能性。 更何况这些非??内容也不一定不会被搜索引擎屏蔽。 这时，通过大量的健康的内容做网站的 seo 排名。通过健 康的关键词使网站获得大量流量，然后在这些健康的内容上带;上非法信息的链接入口。当然，这样的链接必然要使用网站的 robots.txt 对搜索引擎蜘蛛进行屏蔽，同时将所有的非法内容 页面也同样的禁止收录。难道这样就能既通过搜索引擎谋利， 又避开了搜索引擎的监管吗?其实不然，上文中说到搜索引擎 为了良好的用户体验，必然会对已收录或者将要收录的网站进 行全面的了解(不管现在搜索引擎做的是否完善)。;暗暗的搞一些非法勾当。我想，这种情况搜索引擎不会不考虑 到。所以了，即使你的网站 robots.txt 中明确的对某些页面 禁止蜘蛛的爬行，但搜索引擎总还是要检查一下的。不然又 怎么全面的了解网站的优劣呢?;那只有将这些页面进行隐藏，至少不能在普通搜索结果中;行检测。同时笔者自认为只是刚刚开始学习 seo 的菜鸟，所以 笔者的观点并不一定正确无误。