大数据技术基础培训-MPP数据库技术培训.pptx

大数据技术基础培训MPP数据库技术培训从Shared-Disk到Shared-Nothing结构并行关系数据库MPP or HadoopRDBMSNetwork (e.g., GbE, 10GbE, Infiniband)Connection (e.g., FC, InfiniBand)E.g., MPP Databases (or MapReduce on RDBMS), Big Data framework (e.g., Hadoop, HBase)Storage (e.g., SAN, NAS, Storage Cell, etc)由大量独立的服务器通过网络互连形成集群，每个服务器带存储。优势：计算与存储融合，支持横向扩展，更好的扩展性劣势：解决数据冲突时需要节点间协作适用范围：数据仓库和离线数据分析 (MPP, Hadoop/HBase)大规模在线实时应用（单行事务处理能满足的场景） (HBase)多个独立的关系数据库服务器，访问共享的存储资源池优势：采用多个关系数据库服务器，多个存储，与原有的架构相比，扩展了存储容量和计算能力；劣势： 计算与存储分离，数据访问存在竞争和带宽瓶颈；支持的关系数据库服务器数量有限；只能向上扩展(scale-up), 不能横向扩展(not scale out)适合复杂的需要事务处理的应用Oracle ExadataOracle ExadataEMC GreenplumEMC Greenplum过时的MPP vs. Transwarp软件架构(扩展性)MPP数据库Transwarp Hadoop集群规模几十个节点几千个节点扩展能力静态停机扩展 (数据需要重新分布)动态无缝扩展，自动扩展容错能力不存放中间结果，出错时需要重新执行查询只需要重新运行出错的子任务并发能力用于分析型应用、数据装载/建立索引慢，只支持有限并发用户数据装载快，采用公平调度/配额调度，可支持大量并发用户数据模型MPP 数据库Transwarp Hyperbase二元关系模型非结构化或者多维Map模型静态数据模式(schema)动态可变数据模式通常不超过20个并发可支持上亿用户并发查询、检索分析方式MPP 数据库TranswarpSQL 查询语言广泛的数据分析，包括SQL, M/R, R language, 数据挖掘, 预测性分析