海量并行(MPP)内存数据仓库技术实现探讨_v1.0-9-刘睿民_IT168文库.pdf

海量并行 (MPP) 内存数据仓库 实现探讨 谢剑锋 Jason 柏睿数据科技（北京）有限公司 联想服务首席技术顾问 惠普实验室(总部)特邀研究员 统一的大数据系统的整体视图 实时流 数据 实时处理 (s4, storm) Analytics ETL Real Time Un- Big SQL structured (Greenplum, Batch Datastore AsterData, Processing (hBase, Etc…) Gemfire, Cassandra) Unstructured Data (HDFS) 3 通过虚拟化来统一大数据计算平台  目标 ◦ 简单、快速、即需地监控数据集群 ◦ 允许混合负载 ◦ 利用虚拟机来提供隔离（如：多租户） ◦ 通过虚拟拓扑来优化数据处理性能 ◦ 通过虚拟拓扑来优化平台稳定性  充分利用虚拟化 ◦ 可伸缩的扩展性能 ◦ 依靠高可靠性来保护关键服务，如：Hadoop的Name Node及Job Tracker ◦ 资源控制和共享：重用低利用率的内存及CPU ◦ 对负载进行优先级控制：在混合环境中优化及限制资源的使用 统一的分析云将被极大的简化 简化 •单一的硬件基础架构 •快速、简易的环境控制 SQL集群 Big SQL Hadoop NoSQL NoSQL集群 Unifed Analytics Infrastructure Private Public Hadoop 集群 优化 •共享的资源 = 更高的利用率 Decision Support 集群 •可伸缩的资源 = 快速的即需资源访问