真正大数据云计算平台.ppt

* * 第一部分 1.1 云计算平台架构 1.2 clouDil 1.3 MapReduce+TaskMaster 1.4 DataCube 1.5 cCloud 第二部分 云计算平台能力 cStor cStor云存储系统是南京云创存储自主研发的高科技产品。与传统的大规模存储系统相比，cStor针对绝大多数数据密集型应用的特点从多个方面进 行了优化，从而在一定规模下达到成本、可靠性和性能的最佳平衡。 目前，cStor云存储系统已成功应用于安防、广电、交通、电信、政务等诸多领域。 产品特性 优异性能：支持高并发、带宽饱和利用。cStor云存储系统将控制流和数据流分离，数据访问时多个存储服务器同时对外提供服务，实现高并发访问。 高度可靠：采用多个数据块副本的方式实现冗余可靠，数据在不同的存储节点上具有多个块副本，任意节点发生故障，系统将自动复制数据块副本到新的存储节点上，数据不会丢失，实现数据完整可靠。 在线伸缩：可以在不停止服务的情况下，动态加入新的存储节点，无需任何操作，即可实现系统容量从TB级向PB级平滑扩展；也可以取下任意节点，系统自动缩小规模而不丢失数据，并自动将取下的节点上的数据备份到其他节点上，保证整个系统数据的冗余数。 超大规模：支持超大规模集群，理论容量为1024*1024*1024 PB。 简单通用：支持POSIX接口规范，支持Windows/Linux/Mac OS X，可当成海量磁盘使用，无需修改应用。同时系统也对外提供专用的高速API访问接口。 cStor超安存云存储系统是新一代基于编码技术的分布式文件存储系统，它在cStor云存储系统的基础上，融入RS编解码取代传统副本冗余的方式进行系统容错，编解码参数M+N可根据应用需求灵活配置。 相对于传统的副本冗余容错 方式而言，具有更高的磁盘利用率和更高的系统可靠性，如采用8+2的编解码容错方式，磁盘利用率可以达到80%，允许同时损坏2台存储服务器。 产品特性 高磁盘利用率：对于传统具有N份副本容错而言，其磁盘利用率只有1/N，而采用编解码方式，磁盘利用率为M/(N+M)，如8+2，其磁盘利用率为80%。 高可靠性：传统全副本的容错方式，通过牺牲磁盘的有效容量来提升系统的可靠性，如1：1副本容错，磁盘利用率为50%，只能损坏1台存储节点；而采用2+2的编解码方式，在磁盘利用率为50%的情况下，允许同时损坏2台存储节点。 高安全性：数据在编码的过程中，也起到数据加密的作用，必须通过对应的解密算法解码才能够获取到原始数据，提升了系统的安全性。 优异性能：所有的存储节点兼作编解码计算节点，有效的保证了客户端的写入性能，同时充分利用了整个系统中大量存储节点的计算资源。 第一部分 1.1 云计算平台架构 1.2 clouDil 1.3 MapReduce+TaskMaster 1.4 DataCube 1.5 cCloud 第二部分 cStor 云计算平台能力 数据立方etl工具是一个用来将数据立方和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到数据立方中，也可以将数据立方的数据导进到关系型数据库中。一大亮点就是可以通过hadoop的mapreduce把数据从关系型数据库中导入数据到数据立方。 数据立方 数 据 库 Oracle Mysql PostgreSQL …… 数据立方ETL工具 硬件配置 序号 设备名称 数量 CPU 内存 硬盘 网络 1 主控节点 1 双路四核，主频2GHz 32GB 2TB*8 双千兆网卡绑定 2 处理节点 10 双路四核，主频2GHz 32GB 2TB*8 双千兆网卡绑定 3 客户端 1 双路四核，主频2GHz 32GB 2TB*8 双千兆网卡绑定 *千兆48口交换机 建表语句： create table E_MP_POWER_CURVE(ID BIGINT,DATA_TYPE INT,DATA_POINT_FLAG INT,DATA_WHOLE_FLAG STRING,P1 DOUBLE,P2 DOUBLE, P3 DOUBLE,P4 DOUBLE,P5 DOUBLE, P6 DOUBLE, P7 DOUBLE, P8 DOUBLE, P9 DOUBLE, P10 DOUBLE, P11 DOUBLE, P12 DOUBLE, P13 DOUBLE, P14 DOUBLE, P15 DOUBLE, P16 DOUBLE, P17 DOUBLE, P18 DOUBLE, P19 DOUBLE, P20 DOUBLE, P21 DOUBLE, P22 DOUBLE, P23 DOUB