山丽网安“数字”搜索无视抓取协议信息安全如何是好.docVIP

山丽网安：“数字”搜索无视抓取协议 信息安全如何是好 喜欢八卦的朋友们肯定对某“数字”周刊和某“水果”周刊很熟悉。两者虽然满足了很多人不良的窥私欲而销量大涨，但是对于被爆料对象的侵害也是有目共睹的。所以这两者的行为不管是在业内还是业外，都不被人所接受，他们能立足的唯一原因还是人类劣根性衍生出的商业利益。 这种无视行业规范，破坏人们隐私的行为居然在互联网上重演了。对象居然是某数字搜索引擎，它违反的正是搜索引擎公认的行业规范——Robots协议。到底是怎么回事，而网络的信息安全到底遭遇怎样的侵害，就让信息安全领域的专家山丽网安来为您解答吧。 何谓“Robots协议” Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。Robots协议的本质是网站和搜索引擎爬虫的沟通方式，用来指导搜索引擎更好地抓取网站内容，而不是作为搜索引擎之间互相限制和不正当竞争的工具。 网络虽然是信息交流的大平台，搜索引擎更是这个平台搜索信息的大帮手，但是即便是这样，在这个大平台中也有不可触碰的禁区——商业隐私甚至是国家的机密信息。做到这一点就需要互联网的服务商，尤其是搜索引擎服务商遵守Robots协议。 无视协议将陷互联网于水深火热 信息安全将成为风中残烛 最近，某“数字”搜索违反robots协议，抓取其他搜索引擎和网站未经授权内容的行为，引起了业内人士的高度关注。 某专家在接受采访时表示：“robots协议是搜索引擎领域的国际通行规则，不遵守robots协议甚至可以认为是侵权和黑客行为，除了法律授权的强力部门有权获取相关数据外，商业公司这么做危害很大。” “大家应该明白一个道理：己所不欲勿施于人。”施教授指出，中国互联网的发展，不仅仅要竞争，更要创新，“以创新的技术和服务满足网民的需求，做真正的互联网强国。” 据介绍，robots协议诞生于1994年，该协议主要约定了搜索引擎抓取网站内容的范围，包括网站是否希望被搜索引擎抓取，希望或不希望被哪些搜索引擎抓取，以及哪些内容不允许被抓取。它有些类似于人类社会的“日内瓦公约”，但在法律上却不具备那样的刑事效力。这一协议被几乎所有的搜索引擎采用，无论是早年的altavista，infoseek，后来的Google，Bing，以及中国的百度，搜搜，搜狗，均严格遵循这一协议。 然而，刚刚上线的此“数字”综合搜索却并未遵循这一国际惯例——自该搜索推出以来，其违反robots协议，窥探用户隐私的行为便屡屡遭到各方的质疑和反感。有不少网友反映，在该搜索上发现了自己的邮件账号等信息，甚至有一些原本需要动态口令和登陆VPN才能访问的公司内部页面，或者正在改版、尚在保密阶段的网页也已经被此“数字”综合搜索抓取并曝光。 对此，不少业内专家评论指出，从互联网行业发展的角度来看，违背行规的竞争行为对于任何企业和行业长远的健康发展都是非常有害的。在此综合搜索出现之前，国内互联网企业都严格遵守着robots协议。淘宝网到目前为止还在通过robots协议拒绝百度对其信息的抓取，京东和一淘也禁止了相互抓取。如果这家搜索企业今天可以违规抓取百度内容，明天就可以随便抓取含有大量隐私的人人网社区信息，其他网站和搜索引擎如果效仿它，那么被京东屏蔽的一淘也可以抓取竞争对手的商品信息。以此类推，整个互联网行业将大乱。 在很多学者看来，企业遵守robots协议需要行业自律，同时也希望政府有关部门能进一步加强监管和指导，以保障这个新兴行业健康有序地发展壮大。如果不这么做，甚至反其道而行的话，那么中国的互联网将处于水深火热之中，用户的信息安全也将成为这灾难飓风中的“残烛”，摇摇欲“灭”。 大环境的治理约束之外 用户自主地防护也有用武之地 虽然根据协议约束互联网搜索已经是亡羊补牢，但是这也不影响作为隐私数据拥有者的个人、企业甚至是国家自主地防护敏感信息。在这个规定和处罚尚未出台的敏感时期，对于数据的安全防护更需要做到自主可控。而什么防护技术是自主可控，防护效果好的代表呢？自然是对数据本源具有防护效果，且不会因为数据意外丢失而泄漏真实内容的加密技术。而加密技术已经广泛应用于网络中来对抗各种抓取、窃取机密信息的行为，包括前文提到的搜索引擎。 为了适应现代多样的数据类型和用户多样的数据加密需求，采用国际先进的多模加密技术无疑是最好的选择。多模加密技术结合对称算法和非对称算法，在确保用户加密质量的同时，能让用户自主地选择加密模式，从而在应对更重环境的加密需求时更灵活。而这项技术采用的基于系统内核的透明加密，又使它能适应现代多样数据格式的加密需求，从而大大提高了灵活性。而这项集灵活性和全面性于一体的加密技术使用的典型代表正