大数据云计算技术 .pptx

大数据云计算技术;目 录;真正的云计算平台，它有五层架构： 运维管理层：clouDil 计算层：MapReduce+TaskMaster 数据管理层：DataCube 虚拟化层：cCloud 存储层：cStor ;云计算平台架构;目 录; 在搭建云计算平台时，遇到了很多的问题和挑战。开始搭建时，第一次来了那么多性能强劲的机器，我们在感到兴奋的同时，也不免有些顾虑。 出了问题怎么办，有没有预警机制？ 有没有可视化的管理界面？ 机器宕机，管理员能否实时监控到？ 如何做性能调优？ 扩容升级时，能否给出依据？ 带着这些问题，我们开始了自己的云计算平台管理和运营之旅，现在完美的形成了一整套云计算平台管理体系。;clouDil云平台管理系统;clouDil云平台管理系统;clouDil云平台管理系统;clouDil云平台管理系统;clouDil云平台管理系统;目 录;MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。; TaskMaster是云创存储自主研发的一款高效云调度平台。它保证在云计算平台中部分硬件或软件发生故障的情况下仍不影响系统的正常运行；保证在云计算平台中高效稳定的合理化分配和执行任务，同时能够完美解决系统单点故障问题，负载均衡，自动调度与部署。;产品优势 高可靠性：采用“多主多备，负载均衡”的管理节点，从而保证无论管理节点还是处理节点都不存在任何单点故障问题。 低依赖性：采用模块化设计思想，通过统一化配置和API接口的方式向用户提供服务。 低干预性：采用基于事件化的统一管理模式。在系统无人值守的情况下自动完成故障处理等功能。 高实时性：在机器性能允许的范围内，所有任务的控制工作基本都在秒级完成，具有前所未有的高效性。;目 录;DataCube(数据立方);DataCube(数据立方);数据立方管理系统;数据立方管理系统;数据立方管理系统;目 录; cCloud是南京云创存储科技有限公司自主研发的虚拟化云计算平台。 cCloud平台可以加速高伸缩性的公共和私有云IaaS的部署、管理、配置。帮助企业用户快速而轻松地将虚拟数据中心资源转 入自动化、富于弹性且可自我服务的云平台中。另外cCloud兼容亚马逊API接口允许跨cCloud和亚马逊平台实现负载兼容。使用cCloud作为基??数据中心操作者可以快速方便的通过现存基础架构创建云服务。;cCloud系统构架;cCloud后台管理系统;cCloud后台管理系统;cCloud后台管理系统;cCloud后台管理系统;目 录; cStor云存储系统是南京云创存储自主研发的高科技产品。与传统的大规模存储系统相比，cStor针对绝大多数数据密集型应用的特点从多个方面进 行了优化，从而在一定规模下达到成本、可靠性和性能的最佳平衡。 目前，cStor云存储系统已成功应用于安防、广电、交通、电信、政务等诸多领域。;产品特性 优异性能：支持高并发、带宽饱和利用。cStor云存储系统将控制流和数据流分离，数据访问时多个存储服务器同时对外提供服务，实现高并发访问。 高度可靠：采用多个数据块副本的方式实现冗余可靠，数据在不同的存储节点上具有多个块副本，任意节点发生故障，系统将自动复制数据块副本到新的存储节点上，数据不会丢失，实现数据完整可靠。;在线伸缩：可以在不停止服务的情况下，动态加入新的存储节点，无需任何操作，即可实现系统容量从TB级向PB级平滑扩展；也可以取下任意节点，系统自动缩小规模而不丢失数据，并自动将取下的节点上的数据备份到其他节点上，保证整个系统数据的冗余数。 超大规模：支持超大规模集群，理论容量为1024*1024*1024 PB。 简单通用：支持POSIX接口规范，支持Windows/Linux/Mac OS X，可当成海量磁盘使用，无需修改应用。同时系统也对外提供专用的高速API访问接口。; cStor超安存云存储系统是新一代基于编码技术的分布式文件存储系统，它在cStor云存储系统的基础上，融入RS编解码取代传统副本冗余的方式进行系统容错，编解码参数M+N可根据应用需求灵活配置。 相对于传统的副本冗余容错 方式而言，具有更高的磁盘利用率和更高的系统可靠性，如采用8+2的编解码容错方式，磁盘利用率可以达到80%，允许同时损坏2台存储服务器。;产品特性 高磁盘利用率：对于传统具有N份副本容错而言，其磁盘利用率只有1/N，而采用编解码方式，磁盘利用率为M/(N+M)，如8+2，其磁盘利用率为80%。 高可靠性：传统全副本的容错方式，通过牺牲磁盘的有效容量来提升系统的可靠性，如1：1副本容错，磁盘利用率为50%，只能损坏1台存储节点；而采用2+2的编解码方式，在磁盘利用率为50%的情况下，允许同时损坏2台存储节点。;高安全性：数据