集团大数据平台系统功能设计方案.docVIP

集团系统功能设计 概述 图 5-1 系统功能设计内容 参见上图，系统功能设计主要包括：平台管理（多租户管理、多应用管理、作业调度管理、统一运维监控）、数据管理（结构化数据管理、半/非结构化结构数据管理、数据采集、数据交换、数据存储管理、数据加工清洗、数据计算、数据查询）、数据管控 （元数据、主数据管理、数据质量管理）、数据 ETL、数据分析与挖掘、数据展现等。 平台管理功能 多应用管理 星环 Transwarp Data Hub 大数据平台对企业级用户提供多应用场景的支持，例如：通过 Transwarp Stream 提供实时数据计算场景支持，通过 Transwarp Inceptor 提供批处理场景支持，通过 Transwarp Hyperbase 提供在线数据服务场景支持，通过Transwarp Discover 提供数据分析、挖掘场景支持。 星环大数据平台通过 Transwarp Operating System云平台系统（以下简称 TOS） 实现大数据平台多应用管理，支持对应用的服务级别管理（SLA），实现应用的访问资源控制，支持资源隔离。 TOS 基于 Docker 容器技术，支持一键部署 TDH 各个组件，支持优先级的抢占式资源调度和细粒度资源分配，让大数据应用轻松拥抱云服务，满足企业对于构建统一的企业大数据平台来驱动各种业务的强烈需求。 TOS 主要由 4 部分组成，