Topic2Part2-IBM大数据平台和案例分享.pptx

IBM大数据平台与案例分享许栋系统架构师大数据计算需要什么样的硬件平台？OLAP?DW ? BigDataSQL ? NoSQL ? NewSQLRDBMS ? Hadoop ? Spark批处理?交互分析?流计算大数据处理技术的发展，对硬件提出了更高的要求…更大容量更低成本更快的处理速度支持多样化的计算类型工业仿真图像渲染计算密集HPC横向扩展的能力更大更多的磁盘更少机器更少空间和耗电更低的造价更快的CPU更多的线程并行更大的内存容量和带宽更大的IO带宽Flash加速灵活的硬件配比支持从计算密集到IO密集多种计算类型灵活定制硬件创新，CPU、GPU和混合计算多种计算负载的混合调度风险分析流计算实时分析/交互分析消重/归档游戏Map-Reduce云存储IO密集Power8高性能、敏捷、高效和开放的架构才能满足新计算时代的需求为Big Data而设计持续数据加载性能海量IO带宽网格扩展存储极端Flash性能加速认知计算能力低延迟软件定义+云化私有云混合云公有云Traditional IT开放和协作创新IBM继续引领计算平台的研发创新/baike_SUJN.htmlIBM在位于纽约Yorktown Heights的实验室中建造了一台有5个量子位的量子计算机，并将这台量子计算机通过云服务开放给所有人使用。USA新超算中心Summit、Sierra都将基于NVIDIA、IBM的新架构打造，前者计划配备3400个节点，峰值性能可达150-300PFlops，也就是最多30亿亿次浮点计算每秒，而天河二号的峰值是5.5亿亿次。IBM联合ASTRON运算SKA望远镜数据探索宇宙奥秘，每天计算的数据吞吐数量相当于整个互联网人工智能Truenorth芯片，IBM推出了单芯片独立板机，一个盘上有16块板，全机48块板，每块板含16枚 Truenorth芯片，IBM计划以后推出64、256、1024和4096枚芯片的盘，后者的神经元数目将达到人脑的1%。IBM与开源体系的合作Hadoop社区主要贡献者，提供Hadoop发行版，发起成立ODP，提供Hadoop增强方案。Linux社区贡献排名公司第2，主流Linux发行版均有Power优化版本，Power支持KVM虚拟化。白金赞助商，19 个核心贡献者，贡献排名第2，超过100个活跃开发者。IBM基础架构云全面以OpenStack为中心。IBM与国内实力最强的星环、亚信，巨杉等新技术公司合作，开发Power优化的Hadoop版本和NewSQL数据库，与国内公司一起拓展开源商业生态系统。投入10亿美金发展 Linux及相关开源技术IBM 和 Docker 宣布建立战略伙伴关系，提供基于Power的Docker优化版本。IBM与Redis合作，基于IBM CAPI CPU硬件加速技术，建立创新的Redis方案。Power+PostgreSQL提供分布式事务处理数据库优化方案IBM发起创立软件定义网络开源联盟PowerLinux+Hadoop：更好更开放的大数据平台灵活支持纯开源或IBM增强Hadoop方案，支持多种大数据应用，共享资源，混合运行。工具层BigSheetSPSSSparkMahoutRStreamsBigSQLHBaseHiveStorm领先的大数据计算调度平台，多租户管理，更智能调度，更高性能、SLA管理，支持更多大数据计算类型平台层Map-Reduce/YarnSymphonyHDFSGPFS更加成熟、可靠与更高性能的分布式文件系统物理层Power可以为Hadoop 作业提供更高的性能，右图为Hadoop benchmark Terasort的公开测试结果，IBM Power8比最好的x86平台测试值快2.5倍（core vs core）。IBM有多个基于Power的Hadoop M/R平台项目交付，使用更少的节点，更少的空间能耗占用和更少的成本，提供更高性能更高安全性的大数据平台。2.5xIBM Analytics Stack: IBM Power System S822L; 8 nodes each with 24 cores / 192 threads, POWER8; 3.0GHz, 512 GB memory, RHEL 6.5, InfoSphere BigInsights 3.0Cisco Stack: 16 high-density Cisco UCS C240 M3 Rack Servers each with 16 cores / 32 threads, Intel Xeon E5-2665; 2.4 GHz, 256 GB of memory, Cisco UCS VIC 1225, and LSI 9266 8i with 24 1-TB SATA 7200-rp