某省电信BSS系统云计算和云存储研究.ppt

主要资源池管理系统分析 * * * * Title Month Year * * * 500 VMs Enterprises migrating workloads to a virtualized model within a Brown Field environment Enterprises building out new virtualized application environments - VDI 1500 VMs Green Field build-outs for Enterprise customers wanting to rapidly migrate to virtualization Enterprise Brown Field transformation 3000 VMs Service Providers offering managed services, cloud services, SaaS etc. (multiple blocks of 3000 VM’s typical) Enterprise Green Field build-outs (multiple blocks of 3000 VM’s typical) * * * * * * * * 技术考虑路径 解决扩容 压力 寻找更低成本、 可扩展的DWH方案 将部分DWH不常用的 数据移出DWH，放到 更低成本的存储介质上 同时又比较容易导回 解决数据处理和存储 解决数据处理和存储 解决存储 低成本商用 MPP的DWH方案 Hadoop上实现 SQL处理的方案 详单处理刀片化方案 客户标签处理和查询 刀片化方案 挖掘平台刀片化方案 低成本Online备份DWH保存3年左右的数据，3-5年采用低成本Online备份5年以上采用磁带备份 并行处理+并行文件 系统虚拟化存储方案 Hadoop M/R +并行文件系统 A方案：对前期Hadoop 下SQL及DFS的总结 B方案：MPP DWH评估 C.1.1 C.1.2 C.3方案：BC-PDM评估 虚拟化存储 方案评估(Lustre) C.1 C.2 C.3 近期需求不是很 强烈，作为 C.1.1的附产品 对应市场部： 数据挖掘云化方案 将DWH的数据处理 中最影响性能的处理 移出DWH 对应市场部： 经分仓库详单（CDR）云化，处理、存储方案、及库外文件ETL处理云化方案 对应市场部： 客户标签库云化方案 对应市场部： 低成本线性扩展MPP数据仓库实现方案 A方案：基于Hadoop的SQL和DFS 云知识中心的结论： Hadoop DFS分布式文件系统是一种应用级的存储虚拟化技术，其在特定应用场景下具有很好的效果；成本优势也很明显。但不支持SQL，要想基于这种技术架构开发出通用的解决方案，如分布式数据仓库是不现实的。由于这种虚拟化技术对应用是不透明的，也导致无法在非特定场合使用。另外DFS中数据加载及数据处理性能不是特别好。比较适合的场景是海量的非结构化数据的处理。 由于目前经分的数据处理模式是源系统数据-ETL(清洗、转换）-数据仓库-仓库内数据汇总组织-KPI、报表数据，因此非常强的依赖于SQL数据处理 在XXX广告项目上：项目组曾尝试使用DFS之的HBASE，但插入性能较差，导致最后放弃HBAS的使用 BC-PDM测试9节点12G数据装载将近7分钟，平均每节点每分钟190M左右，远低于单节点GreenPlum的测试数据;相同的30000条数据做聚类分析(K-means) HDFS耗时72秒,而相同情况下单节点SPSS 耗时2秒 B方案：并行数据库方案 主机 (Query Part1) Data Data 主机 (Query Part2) Data Data 主机 (Query Part3) Data Data 主机 (Query Part4) Data Data 主机 (Query Part5) Data Data Master Node Query Result 一个典型的MPP式 Share Nothing的DWH查询过程 关键点在于大数据量跨机 多表的Join，查询，数据 处理的优化不同厂家采用 不同的方案，有采用硬件 加速的、有采用软件算法 实现的。 Pentaho与Hadoop处理能力性能比较 Hadoop的性能表现优于Pentaho； Hadoop的性能线性扩展性优于Pentaho。 根据Pentaho和Hadoop的性能测试结果，结合Pentaho和Hadoop的实现机制，Pentaho不具备容错和负载均衡能力。作为更低成本的数据处理方案，采用Hadoop优于采用Pentaho 利用虚拟化的方法提高设备综合利用率，以规模化