POWER大数据解决方案房树新33.pptVIP

Power+DB2 BLU内存分析案例 企业ETL应用 DB2 BLU加速原来Row数据库中需要执行2小时20分的ETL过程缩减到3分30秒即可完成，整体提升性能30倍， 硬件环境： Power7 16Cores；128GB Our BI solution is built on a Cognos/DB2, With BLU Acceleration, we have been able to reduce the time spent on pre-aggregation from one hour to two minutes. ?BLU Acceleration is truly amazing. –Yong Zhou, Sr. Manager of Data Warehouse Business Intelligence Department, Taikang Life Insurance 企业数据仓库应用，承担全行报表表查询，数据供给 作为企业入门级数据仓库系统与Row数据库相比性能提升15倍。 节省70%的存储空间，90%的表压缩率达到90%以上，其中最大的单表120G压缩后为15GB 一张1400万记录的表与一张400万记录的表做left join，3秒内显示结果.* 硬件环境: Power7 4Cores; 32 GB 第三十页，共三十四页。 谢 谢 第三十一页，共三十四页。 IBM 方案 vs 纯开源方案 相对于基于纯开源Hadoop修改的方案，IBM Symphony软件有以下特点： 三级粒度资源管理和调度能力，支持资源分组。 多样化的资源调度策略，如支持优先级、独占、按比例共享、点对点借还、抢占、按时间预留等。 完善的用户/租户定义和管理机制。 端到端的资源SLA保障机制。 对于服务器CPU/Mem/IO资源的细粒度精确管控能力，多维度调度资源，提高整体使用率。 基于用户的数据共享和安全隔离机制 健全的图形化监控管理用户界面 对开源版本Hadoop及各种新型数据工具的开放兼容能力，支持一个平台同时运行多个Hadoop/YARN版本及实例。 对多种OS和硬件平台的开放兼容和异构支持能力 Symphony基于c/c++编写，经过多年优化，比纯开源Hadoop性能更好 Symphony具有更高性能，作业调度使用更高效的推送方式，而非轮询方式，相对开源实现在不同的场景下有40%-66倍的性能提升。 具有完整的报表功能，多角度搜集、分析分布式文件系统、并行执行框架、资源、作业数据，分析平台利用情况，发现性能瓶颈。 企业级技术支持 第三十二页，共三十四页。 IBM Symphony在大数据方案中的核心价值 灵活 - 多租户环境实现资源共享 高效 - 更快速地得到计算/分析结果 强大 - 低延迟，高性能，高可扩展 经济 - 降低 TCO （基础设施和管理开销） 成熟 - 经过大规模生产验证的解决方案 开放 - 丰富的API和应用支持 整合 - 集成管理工具，支持多集群和云环境 贴心 - 强大的本地开发和技术支持团队 资源调度 C 工作负载管理 C C C C C C C C C C C D D D D D D D D D D D D C C C C C C A A A A A A A A A A A A A A A A B B B B B B B B B B B B B B B B B B 各种商业软件 B 自开发应用 C 大数据分析 MapReduce / 内存计算 D 快速响应 灵活扩展 经济高效 第三十三页，共三十四页。 内容总结 大数据解决方案交流。从传统架构到大数据架构的转变。如何着手考虑大数据——五个建议。批处理?交互分析?流计算。更大容量更低成本。灵活的硬件配比支持从计算密集到IO密集多种计算类型。模式自由，可自由更新数据结构。CPU使用情况(使用占比）。? 并?执?行引擎。Power+流计算：大数据实时分析计算方案。3、按照小区维度统计满足条件1、2的话单数。Hadoop ?2.3.0-cdh5.0.0。Spark(Spark stream)。HDFS 2.3.0-cdh5.0.0。4×10GE+4×1GE。后端以NoSQL数据库结合Hadoop运行框架，前端以AJAX结合JSP搭建XX移动日志分析系统。经济高效 第三十四页，共三十四页。 * * * * * * * * Now let’s look at our Solution for Flash Optimized NoSQL. It is the first to leverage our new POWER8 CAPI technology and provides a great example for our Open