大数据方案简介.pptx

大数据解决方案简介2013-3-14Attributes of Big DataVolumeTerabytesTransactionsTablesRecordsFilesBatchNear TimeReal TimeStreamsStructuredUnstructuredSemi-structuredVelocityVariety大数据对数据平台的技术要求分析需求1：高性价比，完全并行化的高效数据处理能力，处理能力易于线性扩展的开放系统架构需求2：支持灵活的数据存储方式需求3：高压缩比，节省存储开支，提升IO效率需求4：超大磁盘IO吞吐能力需求5：高可用，无单点故障，最小化非计划性停机时间需求6： 支持在线扩展，最小化计划性停机时间需求7：支持强大灵活的分析语言需求8：完整的数据接口支持Greeplum 可以做提供什么： BI分析师ETL工程师数据分析师高管数据科学家Greenplum Chorus – 一体化分析管理平台第三方集成工具(如SAS,Infa) 软件集成商数据服务团队数据服务层GP 分布式关系型数据库GP 分布式Hadoop文件系统管理员开放式设备EMC DCA一体机云基础设施Greenplum DataBase特点Greenplum DB特点1：完全无数据共享MPP架构SQLMapReduceMasterServersQuery planning dispatch NetworkInterconnectSegmentServersQuery processing data storage......ExternalSourcesLoading, streaming, etc.SG (Scatter/Gather) 流技术Parallel everything1) Scatter 阶段不需要专门的加载服务器加载性能与节点数成正比支持大批量及实时数据加载对源系统的影响（资源消耗）非常小2) Gather 阶段在数据收集中，可以用SQL对数据进行转换数据分布在每个并行节点上完全并行的数据引擎保证数据吞吐的最大化支持对数据进行压缩存储数据高速并行加载和卸载业界最快并行加载速度16TB/小时 (16个节点配置下)并行加载技术充分利用分布式计算和分布式存储的优势，保证发挥出每一块Disk的I/O资源并行加载相比比串行加载，速度提高40-50倍以上，极大减少ETL窗口时间增加Segment和ETL Server，并行加载速度呈线性增长 Greenplum DB特点2：高度灵活的行列混合存储同时支持行模式，列模式存存储的数据库支持分区表的不同分区使用不同的存储模式灵活支持不同业务场景Greenplum DB特点3：高压缩比海量数据由于压缩比低，需要大量的存储大量的存储需要大量的机房、供电、制冷、维护极大的投资和运维成本Greenplum支持Quicklz和zlib多种压缩算法经实测，采用列压缩模式，话单信息压缩比在15倍以上，采用行压缩模式，压缩比在4倍左右=Mirror Segment C Standby Master Synch ProcessMirror Segment AMirror Segment BGreenplum DB特点4：高可用架构(确保 ‘没有单点故障’) Primary Segment A MPP Master HostMPP Segment Host Primary Segment BMPP Segment Host Primary Segment CInterconnectMPP Segment Host ClientGreenplum DB特点5：动态在线扩容 数据自动在所有节点上重新分布容量和性能在扩展后线性增长步骤1:新节点初始化加入MPP集群步骤2:数据在所有节点上重分布Master内联网seg1seg2seg3seg4seg5seg6Greenplum DB特点6：支持多种可编程分析语言 SQL PL/R PL/PerlMapReduce PL/Python............GreenplumParallel Greenplum Database抽取、转换、加载 (ETL) InformaticaDataStage……Greenplum DB特点7：开放的数据接口易于集成Oracle分析型应用SQLServerIBMDB2SUNHPIBMORACLEDB2MySQLJavaEE.NetSAP BOActuateCognosSASMicrostrategyEMCHitachiCisco消息接口数据文件支持SQL直接并行访问外部数据文件支持外部编程直接使用SQL并行访问数据库支持众多硬件平台支持ODBC/JDBC等多种接口 支持各种数据源