第九章 Data Mart白皮书.pdfVIP

错误！未定义“自动图文集”词条。 ©2012 Yonghong Technology CO.,Ltd 永洪科技Z-Data Mart 白皮书 永洪科技Z-Data Mart 白皮书 Table of Contents TABLE OF CONTENTS 2 1 DATA MART 3 1.1 处理模式 3 1.2 支持第三方4 2 DATA GRID 5 2.1 Data Grid File System (Data Grid文件存储系统) 5 2.1.1 列存储 5 2.1.2 Data Grid Distributed File System(Data Grid分布式文件系统) 6 2.2 Data Grid DMR(Data Grid分布式计算系统) 6 2.2.1 Hadoop Map Reduce 6 2.2.2 Data Grid Map Reduce 7 2.3 Data Grid Data Execution （Data Grid数据分析引擎） 8 2.4 DIO （多路复用异步通信系统）9 3 DATA ACCELERATOR 10 Abbreviations and Definitions Abbreviation Definition HDFS Hadoop Distributed File System DFS Data Grid Distributed File System DMR Data Grid Map Reduce DIO Data Grid Communication Tier Data Execution Data Grid Data Execution Module MPP Data Mart Massive Parallel Processing 永洪科技Z-Data Mart 白皮书 1 Data Mart Yonghong Data Mart 是基于自有技术研发的一款数据存储、数据处理的软件。针对客户需要处理需求数据 的量级不同，IT 系统架构的不同和存储系统的不同，提供了两种解决方案供客户选择一种Data Accelerator 模式，一种是Data Grid 模式。当需要处理的数据量级别处于TB 级以下，或者采用普通存储结构，或者单 机已经足够满足性能需求，我们建议用户选择我们的Data Accelerator 模式。当面对异构数据库存储系统， 需要处理的数量级别在TB 级和PB 级以上，或者IT 系统和存储系统采用分布式，或者需要Data Grid 模式 才能满足性能需求，基于分布式架构的并行处理模式更适合客户的需求。 1.1 处理模式 当用户选择Data Accelerator 模式的时候，客户端主要是以单机为主。其处理方式是Data Modeler 将数据 查询请求发送给数据仓库或者数据库系统，其数据按照对应的分类和格式依次导入进计算机。这种处理流程 跟目前主流的数据处理模式没有很大的区别，但是由于数据集市采用了新型系统引擎，运用独有的压缩，存 储和分析的技术，数据处理的速度上会比现有的BI 系统会有十倍甚至几十倍的明显的提升。 当用户选择Data Grid 模式，客户端主要是以多机为主，工作方式是分布式计算和并行计算。基于Map Reduce 和Stream Computing 理论开发的分布式系统架构，将非常适合异构数据库并行运算的系统，数据 存储和数据交互。跨粒度，内存计算，列存储，流计算，库内计算