大数据平台安全解决方案课件.ppt

大 数 据 平 台 安 全 大数据安全问题 目录 CONTENTS 大数据安全管控措施 Kerberos 安全认证机制 Sentry 安全授权组件 大数据安全管控措施 Kettle 简介 Kerberos 基础 为什么需要 Kerberos ？ Hadoop 集群默认采用基于操作系统账号的 Simple 认证，基 本没有安全性保证 用户只需在客户端的操作系统上建立一个同名账号，即可伪 装成任何用户访问集群 Kerberos 基础 什么是 Kerberos ？ ? Kerberos 是一个网络认证的框架协议，集中式统一用户认证管理 框架 ? 提供一个集中式的身份验证服务器，所有用户认证都是在 Kerberos 服务框架中统一管理 ? Kerberos 由麻省理工学院创建， Kerberos 协议使用强加密技术， 以便客户端可以通过不安全的网络连接向服务器（反之亦然）证 明其身份。在客户端和服务器使用 Kerberos 证明其身份后，他们 还可以加密所有通信，以确保在业务开展时的隐私和数据完整性 Kerberos 基础 Kerberos 核心概念 ? KDC （ Key Distribution Centor ） KDC 用于验证各个模块，是统一认证服务。换句话说就是，可信任 的认证来源，密钥分发中心。 除了以文件形式存储的数据库之外， KDC 还包含两个重要的组件： 认证服务（ AS ）和 TGS 。 AS 和 TGS 一起处理受 Kerberos 保护的 Hadoop 集群的所有认证和访问请求。 Kerberos 数据库存储主体和领域 信息。 ? Kerberos Client 任何一个需要通过 KDC 认证的机器（或模块）。比如客户端，需要 做 Kerberos 认证的机器。 Kerberos 基础 Kerberos 核心概念 ? Principal 用于验证一个用户或者一个 Service 的唯一标识，相当于一个账号，需要为其设置密 码。 当用户想要对 Kerberos 支持的集群进行身份验证时，管理服务生成票据。该票据包 含用户名（通常与用户主体相同），服务主体，客户端的 IP 地址和时间戳等信息。票据具有 一个可配置的最长生命周期和一个会话密钥。用户还可以在特定时间内对票据续期。 ? Keytab 文件 包含一个或多个 Principal 以及其密码的文件，可用于用户登录。一个包含一个或多 个 Principal 及其密码的文件，可以代替输入密码进行验证。 keytab 文件是一个安全文件，其中包含领域所有服务主体的密码。每个 Hadoop 服务 都要求在所有主机上放置一个 keytab 文件。当 kerberos 需要更新服务 TGT 时，它会查找 keytab 文件。 Kerberos 基础 Kerberos 核心概念 ? Realm （域） 由 KDC 以及多个 Kerberos Client 组成的网络，即认证的域。 域是认证用户的基本管理域，用于建立管理服务器对用户，主机和服务进行身份验证的 边界。每个 hadoop 用户被分配到一个特定的域。通常用大写字母指定一个域，例如 YINZHENGJIE.COM 。可以有多个 KDC ，因此在单个网络中可以有多个域。 ? 主体 是指定域的一部分用户，宿主或服务。用户主体和服务主体通常是比较常见的。 UPN 表示普 通用户。 SPN 是运行 Hadoop 服务或后台进程所必须的登陆名，包括 HDFS 和 YARN 等 Hadoop 服务。 ? KDC Admin Account KDC 中拥有管理权限的用户（例如添加，修改，删除 Principal ）。即 KDC 管理员帐户， 有权添加其他 Principal Kerberos 基础 Kerberos 核心概念 ? Authentication Sever （简称 AS ，即认证服务） 用于初始化认证，并生成 Ticket Granting Ticket （ TGT ）。一旦用户成功地 向 AS 进行了身份验证，则 AS 向安全集群中的其他服务认证和客户端授予 TGT 。 这些票据是用于客户端向服务器进行身份验证，有一定时效的加密信息。然后， 主体使用 TGT 来请求认证和访问 Hadoop 服务。 ? Ticket Granting Server （ TGS ） 票据验证服务器，验证客户端传递的 TGT ，然后给客户端服务授予票据，以 便它们可以访问 hadoop 服务。服务票据使验证后的主体能够使用集群中的服务。 在 TGT 的基础上生成 Service Ticket 。一般情况下 AS 和 TGS 都在 KDC 的 Server 上。 Kerberos 基础 Kerberos 核心思想 基于秘钥的共识，有且