基于AWS和CDH大数据处理平台企业级架构研究.docVIP

基于AWS和CDH大数据处理平台企业级架构研究 　　摘 要 该期刊的目的是研究在企业生产环境下大数据架构的相关技术，包括操作系统配置，Cloudera管理器安装，CDH集群部署和集群参数调优，Kerberos集成，LDAP集成，保护传输中的数据安全和保护静态数据安全.生产环境依赖于AWS云服务。实验内容：CDH集群部署和集群参数调优；企业级身份验证系统kerberos；使用一个轻量级目录访问协议（LDAP）目录管理认证；当启动集群时用TLS/SSL服务器守护程序加载密钥；签名证书将被用在CDH集群环境；HDFS加密确保所有敏感数据在存储在磁盘之前被加密。 　　【关键词】CDH Kerberos LDAP TLS/SSL 签名证书 透明hdfs加密 AWS 　　近年来，随着社会的高速发展，科技迅速进步，信息流通越来越频繁，数据量的也呈现为几何倍的增长。对于如何处理这些巨量的数据，如何从这些数据的矿产中挖掘出金子，成为各个企业日益关注的目标。传统的大数据计算框架都是搭建在本地计算机上，这样做的好处是内网环境使得大数据平台相对安全，但计算机群占地大，硬件升级更换麻烦，随着各大厂商开发出云计算服务，使得有大数据计算需求的企业不必再局限于场地和计算机的配置，本次实验就是基于亚马逊云服务的虚拟计算机。现如今，企业和大型机构在寻求解决棘手的大数据问题时，往往会使用开源软件基础架构Hadoop的服务：提供大数据计算平台服务的厂商也有很多比较出名的平台有CDH（Cloudera Distribution Hadoop）；openstack；华为等；本文就是基于CDH管理平台的大数据架构的研究。 　　1 部署配置 　　1.1 集群配置 　　1.1.1 硬件配置 　　cpu：Intel（R） Xeon（R） CPU E5- 　　2686 v4 @ 2.30GHz ；Mem ：64GB；Disk：1 * 30GB SSD 　　1 * 500GB HDD 　　1.1.2 操作系统 　　Red Hat Enterprise Linux Server release 6.7（Santiago） 　　1.2 系统配置 　　（1）禁用防火墙； 　　（2）禁用SELinux； 　　（3）禁用THP； 　　（4）禁用Swap。 　　1.3 外部软件和服务 　　（1）配置 Mysql 数据库。我们使用AWS RDS作为外部数据库服务。数据库类型是MySQL5.5。由于RDS本身具有HA功能，所以没有额外的步骤来配置HA。 　　（2）配置必要的数据库。为相关的CDH组件编写数据库。这些数据库需要UTF-8支持。 　　（3）配置本地yum源。 　　1.4 CDH部署 　　1.4.1 角色安排 　　如表1所示。 　　1.4.2 安装Cloudera Manager 　　在edgenode001，执行如下指令： 　　# yum install oracle-j2sdk1.7 　　# yum install cloudera-manager-daemons cloudera-manager-server 　　#/usr/share/cmf/schema/scm_prepare_database.sh -h USERNAME 　　# service cloudera-scm-server start 　　1.4.3 部署CDH集群 　　（1）我们可以访问Cloudera Manager 网站http：//（yourip）：7180按照网站导航即可安装完成；username，password均为admin。 　　（2）启用Navigator 数据管理仪表板。 　　Cloudera Navigator数据管理仪表板能够捕捉到的各种数据，元数据信息，用户的工作和数据处理。 　　（3）HA 部署。 　　1.HDFS HA 部署 　　2.YARN HA部署 　　2 实验过程 　　2.1 kerberos服务 　　（1）安装kerberos相关安装包在master节点，编辑相关配置文件：kdc.conf，kadm5.ac，；krb5.conf；初始化KDC数据库：kdb5_util create -s；开启KDC服务和kadmin守护进程。 　　（2） kerberos HA 部署。Kerberos的设计目的是允许主/从复制集群。虽然Kerberos集群可以由任意数量的主机组成，但建议您至少有两个主机。master作?橹鞣?务器和至少一个slave作为master的主备份。主服务器和从服务器可以分别被认为是主服务器和辅助服务。 　　Kerberos客户机应用程序设计用于在主服务器关闭时尝试通过辅助服