FusionInsight LibrA产品技术白皮书.pdf

FusionInsight LibrA 技术白皮书 目 录 1 FusionInsight LibrA 产品简介1 1.1 产品定位1 1.2 应用场景2 1.3 技术特点3 2 FusionInsight LibrA 软件架构4 3 FusionInsight LibrA 支持平台和技术指标6 3.1 软件要求6 3.2 硬件及本地PC 要求9 3.3 技术指标 11 4 FusionInsight LibrA 核心技术12 4.1 Share-nothing 架构12 4.2 数据分布式存储13 4.3 数据分区14 4.4 数据并行导入15 4.5 全并行的数据查询处理17 4.6 向量化执行和行列混合引擎18 4.7 工作负载管理21 4.8 高可靠事务处理22 4.9 线性扩容23 4.10 分析查询HDFS 数据25 4.11 三方工具兼容27 4.12 跨集群数据处理27 5 FusionInsight LibrA 工具29 5.1 客户端工具29 5.1.1 Data Studio 29 5.1.2 gsql30 5.2 管理、监控工具30 5.3 备份恢复工具32 6 FusionInsight Libra 对外接口36 1 FusionInsight LibrA 产品简介 1.1 产品定位 1.2 应用场景 1.3 技术特点 1.1 产品定位 FusionInsight LibrA 是企业级的大规模并行处理关系型数据库。FusionInsight LibrA 采 用MPP(Massive Parallel Processing)架构，支持行存储与列存储，提供PB(Petabyte ，2 的50 次方字节)级别数据量的处理能力。 FusionInsight LibrA 在核心技术上跟传统数据库相比有巨大优势，可以解决很多行业用 户的数据处理性能问题，可以为超大规模数据管理提供高性价比的通用计算平台，并 可用于支撑各类数据仓库系统、BI(Business Intelligence)系统和决策支持系统，统一为 上层应用的决策分析等提供服务。 FusionInsight 解决方案是华为企业级大数据存储、查询、分析的统一平台，能够帮助企 业快速构建海量数据信息处理系统，通过对海量信息数据进行实时与非实时的分析挖 掘，发现全新价值点和企业商机。 FusionInsight LibrA 是FusionInsight 解决方案的一个子产品。FusionInsight LibrA 在 FusionInsight 解决方案中的位置如图1-1 所示。 图1-1 FusionInsight LibrA 在FusionInsight 解决方案中的位置 FusionInsight 解决方案由4 个子产品FusionInsight HD 、FusionInsight LibrA、 FusionInsight Miner 、FusionInsight Farmer 和1 个操作运维系统FusionInsight Manager 构成。  FusionInsight HD ：企业级的大数据处理环境，是一个分布式数据处理系统，对外 提供大容量的数据存储、分析查询和实时流式数据处理分析能力。  FusionInsight LibrA ：企业级的大规模并行处理关系型数据库。Fu