真正的大数据云计算平台.pdf

南京云创存储科技有限公司 2012年12月12日 第一部分 云计算平台架构 1.1 clouDil 1.2 MapReduce+TaskMaster 1.3 DataCube 1.4 cCloud 1.5 cStor 第二部分 云计算平台能力 真正的云计算平台，它有五层架构： 运维管理层：clouDil 计算层：MapReduce+TaskMaster 数据管理层：DataCube 虚拟化层：cCloud 存储层：cStor 第一部分 云计算平台架构 1.1 clouDil 1.2 MapReduce+TaskMaster 1.3 DataCube 1.4 cCloud 1.5 cStor 第二部分 云计算平台能力 在搭建云计算平台时，遇到了很多的问题和挑战。开始搭建时，第一次来了那么多性 能强劲的机器，我们在感到兴奋的同时，也不免有些顾虑。 出了问题怎么办，有没有预警机制？ 有没有可视化的管理界面？ 机器宕机，管理员能否实时监控到？ 如何做性能调优？ 扩容升级时，能否给出依据？ 带着这些问题，我们开始了自己的云计算平台管理和运营之旅，现在完美的形成了一 整套云计算平台管理体系。 流量监控 健康度报告 节点性能监控 集群状态监控 集群状态监控 第一部分 云计算平台架构 1.1 clouDil 1.2 MapReduce+TaskMaster 1.3 DataCube 1.4 cCloud 1.5 cStor 第二部分 云计算平台能力 MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。 TaskMaster是云 创存储自主研发的一 款高效云调度平台。 它保证在云计算平台 中部分硬件或软件发 生故障的情况下仍不 影响系统的正常运行 ；保证在云计算平台 中高效稳定的合理化 分配和执行任务，同 时能够完美解决系统 单点故障问题，负载 均衡，自动调度与部 署。  产品优势 高可靠性：采用“多主多备，负载均衡”的管理节点，从而保证无 论管理节点还是处理节点都不存在任何单点故障问题。 低依赖性：采用模块化设计思想，通过统一化配置和API接口的 方式向用户提供服务。