大数据平台方案及案例.pptx

;目录;大数据与分析概述; “上个月在瑞士达沃斯举行的世界经济论坛上,大数据是一个热点话题。在论坛的一份报告《大数据，大影响》中声明： 数据已成为一类新的经济资产，就像货币或黄金一样.;大数据来自哪里？ ;;;;;;Hadoop 系统 管理多样化海量数据 企业级应用增强了开源Hadoop能力 流计算 用于分析流动的数据 能够处理分析多种数据 – 通过高级分析运算符来支持结构化，非结构化，视频，音频等 数据仓库 工作负载均衡的MPP架构，支持高性能的OLAP及混合型的操作和分析负载 数据可视化 企业级搜索引擎 图形展现海量分析结果;BAO方案整体技术架构;大数据解决方案出现之前传统的计算模式;;Hadoop 并行计算模式;;高性能运算Symphony解决方案;大数据常见应用场景举例;;IBM大数据平台优势1-高性能;为什么Symphony更快？;IBM大数据平台优势2-高可靠;IBM大数据平台优势3-好维护;IBM大数据平台优势4-高度兼容性;IBM大数据平台优势5-技术支持;IBM大数据平台优势6-高效可靠文件系统;GPFS-FPO替换HDFS，更可靠、更高效;GPFS-FPO去中心化设计，高性能与高可靠;可扩展的IBM Systems;IBM PowerLinux 7R1– 便捷、高效的入门级产品;;IBM Storwize V7000 – 在单一系统整合了块和文件存储;XIV 系列为应用程序提供顶级的性能;Flash无处不在的优化和调节是解决方案的主题;DB2 BLU助力高性能数据集市;使用DB2 BLU on Power构建高效内存数据集市;;; 运营 只需加载数据就可以启动 像所宣称的那样易于评估和执行 BI 开发人员和 DBA - 更快地交付成果 无需配置或物理建模 无需索引或调优 - 开箱即用的性能 数据架构师/DBA 可专注于业务价值，而不是物理设计 ETL 开发人员 无需聚合各个表 - 更简单的 ETL 逻辑 更快的加载和转换速度 业务分析师 真正的即席查询 - 无调优，无索引 针对大型数据集提出复杂的查询;? 2013 IBM Corporation;42;DB2 BLU七大特点之四 ：内核友好的并行化 ;? 2013 IBM Corporation;? 2013 IBM Corporation;? 2013 IBM Corporation;大数据案例分析;大数据实施案例：某国外大型汽车制造企业大数据平台;某市智能交通项目;50;;根据银监会的要求，国内商业银行需要2015年前满足中国版巴塞尔协议III对银行业风险控制的要??，国内目前已经有多家银行使用Algo风险管理模块 流动性风险管理模型属于计算密集型，RiskWatch阶段占任务的95%以上，可以通过Symphony将RW作业并行化 随着银行业务及数据量的增加，提高计算效率只需要增加Symphony的计算节点数目，可扩展性强 银行业有很多计算模型都可以通过Symphony来解决问题，比如MOSES, CALYPSO, RMATLAB, R Language;;Customer Case and Pain Point;某市人民检察院;客户行为分析 - 业务流程说明;;性能案例:（来自文献：CloudBurst:highly sensitive read mapping with MapReduce）： 输入数据：测序数据7.06 minllion条36bp reads，人基因组genome（2.87G） 软件环境：Hadoop 0.15.3, CloudBurst 硬件环境：12nodes, 24cores（3.2GHz Intel Xeon）, 250G硬盘 测试结果：如下图，横坐标为reads数，纵坐标为运行时间，“0、1、2、3、4”为容错数。 ;;IBM Confidential;XX银行统一考核数据平台介绍;统一考核数据平台当前痛点;优化方案结果对比