Robots协议：友好沟通工具而不是竞争武器7.pptxVIP

Robots 协议：友好沟通工具而不是竞争武器;利用 Robots 协议进行不正当竞争行为，积极营造鼓励创新、 公平公正的良性竞争环境。;四、抓取会对投票等 CGI 脚本造成负面影响，可能出现虚; 但通常来说，用户在利用搜索引擎检索到内容网站时，对 内容网站并不构成伤害，反而会为内容网站带来更多用户。绝 大多数网站非但不会使用 Robots 协议禁止搜索引擎抓取，反 而希望自己的网站内容能够更快、更全面地被搜索引擎收录， 并展现在搜索结果的前列，由此也催生出搜索引擎竞价排名、 SEO(搜索结果优化)等商业模式。; 商业网站大多会在 robots.txt 中提供 SiteMap 文件链接 地址，为搜素引擎指路，方便爬虫更好地抓取网站内容。此外， 网站也可以使用 robots.txt 屏蔽网站中一些比较大的文件， 如：视频、图片等，节省服务器带宽，也可以屏蔽网站的一些 死链接。; 另一类是如 Facebook、LinkedIn、Twitter 这种采用黑白 名单机制写 robots.txt 的网站，在 robots.txt 中针对每种网 络爬虫规定哪些目录不能抓取，LinkedIn 在 robots.txt 文件 中还列出了申请将网络爬虫加入白名单中的联系方法。Alexa 上有 Robots 协议文件的 TOP100 网站中，有 15 个网站在 robots.txt 中设置了黑白名单，但只有一个是对通用搜索引擎 的爬虫进行了黑名单设置，其他都是针对一些非通用搜索引擎 的特殊爬虫设置黑名单。; Robots 之父MartijnKoster 对 Robots 协议的性质进行 了如下阐述： Robots 协议是一个未经标准组织备案的非官方标 准，它也不属于任何商业组织。本协议不受任何机构保护，所 有现有和未来的机器人不一定使用本协议。Robots 协议是 Robot 创作者们向互联网社区提供的用来保护互联网服务器免 受骚扰的一个通用工具。; 在 2012 年 11 月 1 日，中国互联网协会在北京举行《互联 网搜索引擎服务自律公约》签约仪式。据中国互联网协会胡启 恒理事长介绍，本次公约的制定充分体现了互联网的精神， 一方面，公约对非法律条文规定、国际互联网界拥有共识的 Robost 协议给予了的充分的尊重和肯定。另一方面，互联网是 生而自治的，在日后随着互联网技术应用的不断??展，还会有 许多新兴问题出现，同时也希望业界能够基于诚信、自主自治 的互联网精神来解决互联网的争议，共同讨论和解决出现的问 题。;不利用 Robots 协议进行不正当竞争行为，积极营造鼓励创新、 公平公正的良性竞争环境。