大数据安全Hadoop安全模型的演进.doc

大数据安全:Hadoop安全模型的演进 作者Kevin T. Smith ,译者吴海星发布于2013年11月6日I过论 ■ 分享至： 微 博 微 信 FacebookTwitter冇道云 笔记邮件分享 ■ 稍后阅读 我的阅读清单 敏感信息的安全和保护是当今人们最关心的问题之一。进入大数据时代，很多组 织都在从齐种源头收集数据，进行分析，并基于对海量数据集的分析做出决策, 因此这一过程屮的安全问题变得愈发重耍。与此同时，HIPAA和其他隐私保护 法之类的法律法规也要求组织加强对这些数据集的访问控制和隐私限制。来自内 部和外部攻击者的网络安全漏洞与日俱增，通常都要数月之后才能发现，而那些 受此影响的人正在为此付出代价。没能对他们的数据做岀恰当访问控制的组织将 受到起诉，出现在负面报道中，并将面临监管机构的罚款。 请想一想下面这些让人大开眼界的统计数据： 相关厂商内容 ?赛门铁克和Ponemon研究所今年公布的一项研究表明，一个安全漏洞在美国的平均 组织化成木是540万美元I另据最近一项研究表明,仅仅网络犯罪在美国造成的损 失每年就有140亿美元Z多。 2011年索尼游戏机网络中出现的漏洞可以算是近代最大的安全漏洞Z—,专家们佔 计索尼与该漏洞相关的损失人约在27亿到240亿美元之间（范围很人，但这个漏洞 太大了，所以儿乎难以对其进行量化）。$ Netflix和AOL已经因为具管理的大量数据和对个人信息的保护而受到金额达数百 万美元的起诉（某些已经立案），尽管他们已经对这些数据做了“匿名化”处理并且 是为了研究才公布的。3 ?跟安全漏洞相关的除了可量化的成本（客户和业务合作伙伴的损失，诉讼，监管罚 款），经历此类事件的组织的町信度和声誉还会受到影响，甚至可能会导致公司歇 #.0 4 简而言之，如果没有恰当的安全控制，大数据很容易变成花费口大的大问题。 对于处理大数据的组织來说这意味着什么？意味着你拥有的数据越多，对数据的 保护就越重要。意味着不仅要安全冇效地控制离开自冇网络的数据，还必须做好 网络内部的数据访问控制。依据数据的敏感程度，我们可能要确保数拯分析师能 看到的数据是可以让他们分析的数据，并且必须明白发布这些数据及其分析结果 口J能产生的后果。仅Netflix数据泄漏一个案例就足以表明,即使已经试图对数 据做了“匿名化处理，也可能会发布一些意料Z外的信息——一些在差异化隐私 领域标明的东西。 Apache Hadoop是最流彳亍的大数据处理平台之一。尽管最初设计Hadoop时根本 没考虑安全问题，但它的安全模型在不断地演进。Hadoop的兴起也招致了很多 批判，并且随着安全专家不断指出其潜在的安全漏洞及人数据的安全风险，使得 Hadoop —直在改进其安全性。“Hadoop安全”市场曾出现过爆炸性的增长，很多 厂商都发布了“安全加强版的Hadoop和对Hadoop的安全加以补充的解决方案。 这类产品有 Cloudera Sentry、IBM InfoSphere Optim Data Masking、 英特尔白勺安 全版 Hadoop、DataStax 企业版、DataGuise for Hadoop、用于 Hadoop 的 Protegrity 人数据保护器、Revelytix Loom、Zettaset安全数据仓库,此外还有很多，这里就 不再 列举了。与此同时，Apache也有Apache Accumulo这样的项目,为使 用Hapdoop捉供了添加额外安全措施的机制。最终述出现了 Knox网关（由 HortonWorks贞献）和Rhino项目（由英特尔贞献）这样的开源项目，承诺要让 Hadoop本身发生重大改变。 要让Hadoop达到安全性要求的口人需求使得Hadoop —直在发生着变化，这也 是我耍在本文小重点讨论的内容。 Hadoop安全（简）史 Doug Cutting和Mike Cafarella最初为Nutch项口开发Hadoop吋并没有考虑安全 因索，这是众所周知的事实。因为Hadoop的最初用例都是围绕着如何管理人量 的公共web数据，无需考虑保密性。按照Hadoop最初的设想，它假定集群总是 处于可信的环境屮，由可信用户使用的相互I?办作的可信计算机组成。 最初的Hadoop屮并没有安全模型，它不对用户或服务进行验证，也没有数据隐 私。因为Hadoop被设计成在分布式的设备集群上执行代码，任何人都能提交代 码并得到执行。尽管在较早的版木屮实现了审计和授权控制（HDFS文件许可）, 然而这种访问控制很容易避开，因为任何用户只需要做一个命令行切换就可以模 拟成其他任何用户。这种模拟行为非常普遍，大多数用户都会这么干，所以这一 已冇的安全控制其实没起到什么作用。 在当时，考虑到安全问题的组织把Hadoop隔离