GBase-Up统一数据平台技术白皮书-D.docx

GBase UP (统一数据平台) 技术白皮书 目 录 TOC \o 1-2 \h \z \u GBase UP 统一数据平台产品简介 2 产品简介 2 产品技术特点 3 产品功能简介 4 GBase UP 系统架构 5 混搭集群 5 最小部署 6 整体架构 8 GBase UP 产品平台和指标 9 支持的操作系统和平台 9 硬件环境 9 技术指标 10 GBase UP 核心技术与核心价值 11 异构引擎透明访问 11 跨引擎数据交换 12 跨引擎关联查询 12 跨引擎读写分离 13 数据生命周期管理 13 统一用户管理和授权 14 BLOB on Hadoop 15 UDF 扩展 15 GBase UP 开发接口 17 GBase UP ODBC 17 GBase UP JDBC 17 GBase UP ADO.NET 17 GBase UP C API 18 GBase UP 统一数据平台产品简介 产品简介 南大通用统一数据平台系统，简称：GBase UP，它是融合了 GBase 8a MPP、GBase 8s、开源 Hadoop 生态系统的大数据平台产品，兼顾大规模分布式并行数据库集群系统、稳定高效的事务数据库，以及 Hadoop 生态系统的多种大规模结构化与非结构化数据处理技术，能够适应 OLAP、OLTP 和 NOSQL 三种计算模型的业务场景，是构建企业数据平台的重要基础设施。 GBase UP 以成熟的 GBase 8a MPP 商用数据库为基础，扩展出针对 Hive Spark、HBase、GBase 8s 的计算和存储引擎，建立引擎之间高效数据交换通道， 构建了对外统一，对内可扩展的集群数据库产品。 对于企业而言，GBase UP 建立了一个多种数据存储和混搭计算的基础设施，将存储资源和计算资源合理调配，破除数据竖井，通过统一接口完成数据的加工生产，从而创造更多的数据价值；对于信息集成厂商，GBase UP 提供了能够处理结构化数据和非结构化数据、关系型和非关系型数据的一站式解决方案。对于最终用户和 App 开发者而言，GBase UP 为用户提供经典的数据库接入方式和结构化查询语言，从而大大降低维护和开发成本。 与数据网关、数据库代理路由、中间件等方案不同：GBase UP 是一款分布式数据库集群产品，对外构建完整的 Schema 定义和数据库访问控制，能够对用户数据库访问进行解析、优化、数据缓冲等操作，完成透明高效的中间数据存储、关联、聚合等操作，对内构建 Gbase 8a MPP、GBase 8s、Hadoop 之间的内部数据传输协议，实现高效的数据交换，构建统一的监视和控制系统，进行 资源调度。为用户提供高效的、易管理的、总体拥有成本低的产品和服务。 借助 GBase UP，企业可以在实施大数据项目时实现四减二增，四减：在项目前期避免陷入 MPP 数据库和 Hadoop 生态的选型困难，减少决策成本；在系统业务信息架构阶段，借助统一模式，减少业务建模成本；在应用开发阶段，开发者采用标准的 ODBC、JDBC 等传统方式访问平台，减少开发成本；在项目交付后，通过统一的监控系统，减少运营成本；二增：破除数据孤岛，打破“竖井” 型数据中心间的隔离，实现数据增值；融合 MPP 和 Hadoop 各自计算能力，实现计算增值。 产品技术特点 GBase UP 继承了 GBase 8a MPP 的 Shared Nothing 节点对等的扁平架构， 能够运行在普通的 X86 服务器上，同时还具备以下技术特征： 统一的标准化接入：支持 C API、ODBC、JDBC、ADO.NET 等接口规范。 统一的标准化查询语言：支持 SQL92 标准，并在此基础上支持HiveHQL、GBase 8s 的 SQL 扩展，DDL 部分支持方言，DML 尽可能采用标准 SQL。 统一的数据视图：通过统一的元数据管理，将 OLTP、OLAP、Hadoop 数据库可以看作一个视图，供数据建模工程师构建统一的信息的生产流程。 统一安全：基于 GBase 8a MPP 的安全体系，扩展对其他引擎的安全认证，避免了多种认证模式，弥补如 HIVE 等对安全实现不足的短板。 统一事务：支持跨异构集群的事务管理。 统一调度：透明实现跨引擎关联查询。 统一日志：增加保存日志到 hadoop 的机制，供诸多分析工具访问。 统一监控：监视 UP 平台的各个服务器的软硬件指标。 高效数据交换：内置引擎之间建立高速多对多的内部通道。 高可扩展性，GBase 8a MPP、GBase 8s、Hive 是 GBase UP 的内置引擎，还可以通过开发对应