永洪ZDataMart白皮书.docVIP

?2012 Yonghong Technology CO.,Ltd 永洪科技Z-Data Mart白皮书 Table of Contents Table of Contents 2 1 DATA MART 3 1.1 处理模式 3 1.2 支持第三方 4 2 MPP DATA MART 5 2.1 Z File System (Z文件存储系统) 5 2.1.1 列存储 5 2.1.2 Z Distributed File System(Z分布式文件系统) 6 2.2 MPP Data Mart DMR(MPP Data Mart分布式计算系统) 6 2.2.1 Hadoop Map Reduce 6 2.2.2 MPP Data Mart Map Reduce 7 2.3 MPP Data Mart Data Execution（MPP Data Mart数据分析引擎） 8 2.4 ZIO（多路复用异步通信系统） 9 3 本地DATA MART 10 Abbreviations and Definitions Abbreviation Definition HDFS Hadoop Distributed File System ZDFS Z Distributed File System ZMR Z Map Reduce ZIO Z Communication Tier Data Execution Z Data Execution Module MPP Data Mart Massive Parallel Processing 1 DATA MART Yonghong Data Mart是基于自有技术研发的一款数据存储、数据处理的软件。针对客户需要处理需求数据的量级不同，IT系统架构的不同和存储系统的不同，提供了两种解决方案供客户选择一种本地模式，一种是MPP模式。当需要处理的数据量级别处于TB级以下，或者采用普通存储结构，或者单机已经足够满足性能需求，我们建议用户选择我们的本地模式。当面对异构数据库存储系统，需要处理的数量级别在TB级和PB级以上，或者IT系统和存储系统采用分布式，或者需要MPP模式才能满足性能需求，基于分布式架构的并行处理模式更适合客户的需求。 处理模式 当用户选择本地模式的时候，客户端主要是以单机为主。其处理方式是Data Modeler将数据查询请求发送给数据仓库或者数据库系统，其数据按照对应的分类和格式依次导入进计算机。这种处理流程跟目前主流的数据处理模式没有很大的区别，但是由于数据集市采用了新型系统引擎，运用独有的压缩，存储和分析的技术，数据处理的速度上会比现有的BI系统会有十倍甚至几十倍的明显的提升。 当用户选择MPP模式，客户端主要是以多机为主，工作方式是分布式计算和并行计算。基于Map Reduce和Stream Computing理论开发的分布式系统架构，将非常适合异构数据库并行运算的系统，数据存储和数据交互。跨粒度，内存计算，列存储，流计算，库内计算，分布式并行计算，这些特有的处理方式将会帮助Z-Suite的分析性能相比目前的BI系统得到十倍以上的提升。针对TB级、PB级的数据量的所有分析请求，将能在一秒之内返回结果。 无论本地模式还是MPP模式，都使用相同的系统架构和分析引擎。这一功能的好处及技术特点是显而易见的： 尽量发挥机器系统的特点，避免远程访问数据库，加快数据的计算， 精心设计的存储结构以利于高速运算， 特有的跨粒度计算、内存计算、流计算、库内计算、列存储、并行计算等技术来加速数据的计算， 避免频繁的IO访问和远程访问数据库。 支持第三方 Yonghong Data Mart除了支持永洪Z-Suite套件里的Z-Dashboard，Z-Reporting和Z-Adhoc Query之外，也支持其他第三方相应的报表软件例如Cognos， BO。客户可以保持原有BI系统报表功能不变的情况下，仅仅通过采用Yonghong Data Mart系统，就可以使得数据查询，数据钻取和数据展示的速度大幅度提高。尤其是在系统满负荷工作的状态下，用户也能享受到实时处理，敏捷