信达大数据支撑系统ThinkDataUniDoop产品白皮书-云宏信息.PDFVIP

信达大数据支撑系统 ThinkData UniDoop 产品白皮书 北京云宏信达信息科技有限公司 2016 年10 月 目录 1 产品概述3 2 系统架构3 3 功能组件5 3.1 大数据分布式存储及计算框架组件5 3.1.1 分布式文件系统5 3.1.2 大数据分布式数据库及数据仓库系统7 3.1.3 大数据并行计算框架12 3.1.4 大数据资源管理、分布式协调系统18 3.1.5 分布式建模与算法库22 3.2 可定义统一服务接口框架34 3.2.1 API 封装上线34 3.2.2 API 管理34 3.3 大数据集群管理控制台35 3.3.1 数据管理35 3.3.2 集群监控35 3.3.3 系统管理35 3.3.4 帐户管理35 3.4 系统指标36 4 应用场景与价值37 5 系统优势37 1 产品概述 ThinkData UniDoop 是云宏信达面向众多行业客户推出的，基于开源技术进 行性能优化、功能增强的大数据存储、查询和分析的支撑系统。它以微服务架构 为基础，以分布式存储、海量数据处理和实时数据处理引擎为核心，并针对政府、 气象、金融等数据密集型行业的数据管理、数据开放共享、数据分析应用等需求， 打造了开放、智慧、可靠的基础支撑软件，让客户快速实现数据整合、存储、治 理、分析应用，实现数据资产化、发挥数据价值。 2 系统架构 ThinkData UniDoop 大数据支撑系统的系统架构如下图所示。 业务 大数据业务及应用软件 应用 平台 数据采集 弹性传输 数据资产 复杂作业 安全监控 数据共享 支撑 处理系统 交换系统 管理系统 调度系统 审计系统 服务系统 服务 可定义的统一服务接口框架 （统一数据SQL接口、API计算接口） 管理控制台 接口 SQL查询引擎 并行迭代计算 机器学习 分布式内存 分布式流数据 分布式批处理理 理 管 管 统 全 安 系 与 户 用 存储 计算框架 计算框架 计算框架 UniDoop / 计算 源 资 式 布 分 分布式列储 分布式文档 分布式 理 管 群 集 架 框 理 管 存数据库 数据库 数据仓库 图数 据库 分布式文件存储系统 内存文件系统 基础 大数据分布式存储计算集群 基础设施资源池 安全设施 网络设施 设施 ThinkData UniDoop 大数据支撑系统架构 UniDoop 支撑系统安装部署于大数据基础设施之上，提供分布式文件存储、 不同数据类型的数据库存储、分