浅谈hado说op安全机制及用户组管理(盛大研究院-分享).pptVIP

浅谈hadoop安全机制及用户组管理 傅 杰 @cloudfire  2012.9.18  Outlines 公知的安全点 集成Kerberos 服务层安全控制 自定义组映射 web-control 客户端安全 客户端安全? Web Server Client App Illegal Client Illegal App Hadoop cluster 集群安全 集群安全？ DataNode JobTracker DataNode NameNode Second NameNode TaskTracker TaskTracker Illegal Slave Other JobTracker 安全问题 非法的slave节点添加 非法的客户端添加 非法的应用连接 用户身份造假 WEB界面的任意访问 究根:请求者身份识别! 默认支持的安全协议 Simple 配置简单、使用简单、适合单一团队使用 kerberos 配置稍微复杂、使用稍微麻烦、可解决上述问题、较安全 Kerberos简单介绍 网络认证协议(Network Authentication Protocol) principal.kadm5 KDC 密钥分发中心 Principle:name/instance@REALM Keytab:用于获取principle hadoop集成kerberos DataNode JobTracker NameNode KDC(realm=HADOOP) hdfs.ketab (hdfs/_HOST@HADOOP) mapred.ketab mapred/_HOST@HADOOP client fujie.keytab fujie@HADOOP Log APP SecurityUtil.login() subject Kinit by passwd kerberos配置 创建kerberos database 创建principal、启动KDC Core-site 指定协议 kerberos 配置server keytab principal start Kerberos使用总结 需要管理KDC 培养程序员的操作习惯 应用程序需开发kerberos客户端UserGroupInformation.loginUserFromKeytab 流程变复杂一点点(流程化) Hive、hbase已支持kerberos 安全才是王道 ACL控制 hadoop-policy.xml mapred-queue-acls.xml 用户组很重要！ 用户组及权限安全 文件归属一个用户和一个组 一个用户可归属多个组 权限划分:归属者、归属组、其它用户 操作类型:读 、写、执行 Hadoop默认使用客户机组信息 默认组映射 任意客户端的不安全都可能破坏集群 客户端机器多映射关系不一 复杂的资源权限需求无法满足 管理极其不方面 是否可以自定义组信息？ 自定义组映射 Hadoop User-group client user DPM TOOL admin rpc getGroups hadoop.security.group.mapping write 用户组策略 user group team 配置某个用户对commons可读 配置某个team对commons可读 配置某个team对拥有某个job queue-a权限 resource fujie dev drwxr-x--- - hadoop dpuser 0 2012-09-19 15:32 /commons /commons dpuser queue-a Web-control Simple 设置 Kerberos 客户端需要配置域 hadoop.http.authentication.type PseudoAuthenticationHandler simple login 开放数据平台 开放于优酷土豆集团 日志采集系统 存储优化引擎 在线及离线计算 多样性的数据产品 数据平台审计监控 REFERENCES 1./archive/2006/03/20/354027.html 2./mapreduce/hadoop-permission-management/ QA谢谢！