真正的大数据云计算平台.pptVIP

数据立方是一种高效分布式的处理海量数据的云处理软件,具有从TB乃至PB级的数据中挖掘出有用的信息并进行快捷、高效处理的能力,同时支持数据仓库存储和商业智能分析等业务。该软件基于hadoop平台大数据处理的解决方案,具有处理能力高效、超高可靠性的优点。 * 2021/3/26 产品特点 对任意多关键字实时索引 支持类SQL复杂并行组合查询 分布式万兆实时数据流秒级处理 系统无单点,确保意外情况下,系统的正常运行 * 2021/3/26 * 2021/3/26 * 2021/3/26 * 2021/3/26 第一部分 1.1 云计算平台架构 1.2 clouDil 1.3 MapReduce+TaskMaster 1.4 DataCube 1.5 cStor 第二部分 云计算平台能力 cCloud * 2021/3/26 cCloud是南京云创存储科技有限公司自主研发的虚拟化云计算平台。 cCloud平台可以加速高伸缩性的公共和私有云IaaS的部署、管理、配置。帮助企业用户快速而轻松地将虚拟数据中心资源转 入自动化、富于弹性且可自我服务的云平台中。另外cCloud兼容亚马逊API接口允许跨cCloud和亚马逊平台实现负载兼容。使用cCloud作为基础数据中心操作者可以快速方便的通过现存基础架构创建云服务。 * 2021/3/26 cCloud系统构架 * 2021/3/26 * 2021/3/26 * 2021/3/26 * 2021/3/26 * 2021/3/26 第一部分 1.1 云计算平台架构 1.2 clouDil 1.3 MapReduce+TaskMaster 1.4 DataCube 1.5 cCloud 第二部分 云计算平台能力 cStor * 2021/3/26 cStor云存储系统是南京云创存储自主研发的高科技产品。与传统的大规模存储系统相比,cStor针对绝大多数数据密集型应用的特点从多个方面进 行了优化,从而在一定规模下达到成本、可靠性和性能的最佳平衡。 目前,cStor云存储系统已成功应用于安防、广电、交通、电信、政务等诸多领域。 * 2021/3/26 产品特性 优异性能:支持高并发、带宽饱和利用。cStor云存储系统将控制流和数据流分离,数据访问时多个存储服务器同时对外提供服务,实现高并发访问。 高度可靠:采用多个数据块副本的方式实现冗余可靠,数据在不同的存储节点上具有多个块副本,任意节点发生故障,系统将自动复制数据块副本到新的存储节点上,数据不会丢失,实现数据完整可靠。 * 2021/3/26 在线伸缩:可以在不停止服务的情况下,动态加入新的存储节点,无需任何操作,即可实现系统容量从TB级向PB级平滑扩展;也可以取下任意节点,系统自动缩小规模而不丢失数据,并自动将取下的节点上的数据备份到其他节点上,保证整个系统数据的冗余数。 超大规模:支持超大规模集群,理论容量为1024*1024*1024 PB。 简单通用:支持POSIX接口规范,支持Windows/Linux/Mac OS X,可当成海量磁盘使用,无需修改应用。同时系统也对外提供专用的高速API访问接口。 * 2021/3/26 cStor超安存云存储系统是新一代基于编码技术的分布式文件存储系统,它在cStor云存储系统的基础上,融入RS编解码取代传统副本冗余的方式进行系统容错,编解码参数M+N可根据应用需求灵活配置。 相对于传统的副本冗余容错 方式而言,具有更高的磁盘利用率和更高的系统可靠性,如采用8+2的编解码容错方式,磁盘利用率可以达到80%,允许同时损坏2台存储服务器。 * 2021/3/26 产品特性 高磁盘利用率:对于传统具有N份副本容错而言,其磁盘利用率只有1/N,而采用编解码方式,磁盘利用率为M/(N+M),如8+2,其磁盘利用率为80%。 高可靠性:传统全副本的容错方式,通过牺牲磁盘的有效容量来提升系统的可靠性,如1:1副本容错,磁盘利用率为50%,只能损坏1台存储节点;而采用2+2的编解码方式,在磁盘利用率为50%的情况下,允许同时损坏2台存储节点。 * 2021/3/26 高安全性:数据在编码的过程中,也起到数据加密的作用,必须通过对应的解密算法解码才能够获取到原始数据,提升了系统的安全性。 优异性能:所有的存储节点兼作编解码计算节点,有效的保证了客户端的写入性能,同时充分利用了整个系统中大量存储节点的计算资源。 * 2021/3/26 第一部分 1.1 云计算平台架构 1.2 clouDil 1.3 MapReduce+TaskMaster 1.4 DataCube 1.5 cCloud 第二部分 cStor 云计算平台能力 * 2021/3/26 数据立方etl工具是一个用来将数