大数据方案简介讲解.pptx

大数据解决方案简介 2013-3-14 Attributes of Big Data Volume Velocity Variety Batch Near Time Real Time Streams Structured Unstructured Semi-structured Terabytes Transactions Tables Records Files 大数据对数据平台的技术要求分析 需求1：高性价比，完全并行化的高效数据处理能力，处理能力易于线性扩展的开放系统架构 需求2：支持灵活的数据存储方式 需求3：高压缩比，节省存储开支，提升IO效率 需求4：超大磁盘IO吞吐能力 需求5：高可用，无单点故障，最小化非计划性停机时间 需求6： 支持在线扩展，最小化计划性停机时间 需求7：支持强大灵活的分析语言 需求8：完整的数据接口支持 Greeplum 可以做提供什么： 开放式设备 数据服务层 第三方集成工具(如SAS,Infa) 软件集成商 Greenplum Chorus – 一体化分析管理平台 GP 分布式Hadoop文件系统 数据科学家 ETL工程师 数据分析师 BI 分析师 高管 GP 分布式关系型数据库 管理员 数据服务团队 云基础设施 EMC DCA一体机 Greenplum DataBase特点 Greenplum DB特点1：完全无数据共享MPP架构 Network Interconnect MasterServers Query planning dispatch SegmentServers Query processing data storage SG (Scatter/Gather) 流技术 1) Scatter 阶段 不需要专门的加载服务器 加载性能与节点数成正比 支持大批量及实时数据加载 对源系统的影响（资源消耗）非常小 2) Gather 阶段 在数据收集中，可以用SQL对数据进行转换 数据分布在每个并行节点上 完全并行的数据引擎保证数据吞吐的最大化 支持对数据进行压缩存储 Parallel everything 数据高速并行加载和卸载 业界最快并行加载速度16TB/小时 (16个节点配置下) 并行加载技术充分利用分布式计算和分布式存储的优势，保证发挥出每一块Disk的I/O资源 并行加载相比比串行加载，速度提高40-50倍以上，极大减少ETL窗口时间 增加Segment和ETL Server，并行加载速度呈线性增长 Greenplum DB特点2：高度灵活的行列混合存储 同时支持行模式，列模式存存储的数据库 支持分区表的不同分区使用不同的存储模式 灵活支持不同业务场景 = 海量数据由于压缩比低，需要大量的存储 大量的存储需要大量的机房、供电、制冷、维护 极大的投资和运维成本 Greenplum支持Quicklz和zlib多种压缩算法 经实测，采用列压缩模式，话单信息压缩比在15倍以上，采用行压缩模式，压缩比在4倍左右 Greenplum DB特点3：高压缩比 Greenplum DB特点4：高可用架构(确保 ‘没有单点故障’) Client Interconnect MPP Segment Host MPP Master Host MPP Segment Host MPP Segment Host Primary Segment C Primary Segment B Primary Segment A Greenplum DB特点5：动态在线扩容 Master seg1 seg2 seg3 seg4 seg5 seg6 数据自动在所有节点上重新分布 容量和性能在扩展后线性增长 步骤1:新节点初始化加入MPP集群 步骤2:数据在所有节点上重分布 内联网 Greenplum DB特点6：支持多种可编程分析语言 Parallel Greenplum Database Greenplum ... ... Greenplum DB特点7：开放的数据接口易于集成 SUN HP IBM ORACLE DB2 EMC Hitachi 支持各种 数据源 分析型应用 JavaEE .Net SAP BO Actuate Cognos SAS Microstrategy Cisco 支持众多硬件平台 支持ODBC/JDBC等多种接口 支持各种 ETL工具 支持SQL直接并行访问外部数据文件 支持外部编程直接使用SQL并行访问数据库 MySQL 消息接口 SQL Server IBM DB2 Oracle 数据文件 GP DB特有的：对外部数据的In-flight数据访问 可以在Greenplum数据库中直接对外部