集团大数据平台系统功能设计整体方案.doc

集团大数据平台系统功能设计整体方案 概述 图5-1系统功能设计内容 参见上图，系统功能设计主要包括：平台管理（多租户管理、多应用管理、作业调度管理、统一运维监控）、数据管理（结构化数据管理、半/非结构化结构数据管理、数据采集、数据交换、数据存储管理、数据加工清洗、数据计算、数据查询）、数据管控（元数据、主数据管理、数据质量管理）、数据ETL、数据分析与挖掘、数据展现等。 平台管理功能 多应用管理 星环Transwarp Data Hub大数据平台对企业级用户提供多应用场景的支持，例如：通过Transwarp Stream提供实时数据计算场景支持，通过Transwarp Inceptor提供批处理场景支持，通过Transwarp Hyperbase提供在线数据服务场景支持，通过Transwarp Discover提供数据分析、挖掘场景支持。 星环大数据平台通过Transwarp Operating System云平台系统（以下简称TOS）实现大数据平台多应用管理，支持对应用的服务级别管理（SLA），实现应用的访问资源控制，支持资源隔离。 TOS基于Docker容器技术，支持一键部署TDH各个组件，支持优先级的抢占式资源调度和细粒度资源分配，让大数据应用轻松拥抱云服务，满足企业对于构建统一的企业大数据平台来驱动各种业务的强烈需求。 TOS主要由4部分组成，底层由基于Docker的容器技术作为所有应用服务的承载，通过将应用服务装载在Docker容器中，能够实现应用环境和底层环境的解耦合；通过优化过的Kurbernetes对整个集群的资源进行管理与调度；在此之上，内置了丰富的系统级服务应用，如完整Docker化的Transwarp Data Hub集群各个组件等；对于其他应用服务的接入，提供了完整的Docker Images Repository集中服务管理库，用户可以通过TOS提供的接口，将应用服务制作为Docker Image，加载入TOS Repository，通过定义调度规则，在TOS统一管理与调度。 图5-2大数据云平台架构图 便捷部署：基于TOS，用户可以通过Web UI、REST API或者命令行一键瞬间安装和部署TDH集群，能自动根据服务的依赖性安装所需的其他服务组件。在虚拟技术之前，部署硬件资源满足新的应用需求需要几天时间，通过虚拟化技术把这个时间降到了分钟级别，而目前基于Docker的TOS云平台把时间降到了秒级别。Docker作为装载进程的容器，不必重新启动操作系统，几秒内能关闭，可以在数据中心创建或销毁，没有额外消耗。典型的数据中心利用率是30%，通过更积极的资源分配，以低成本方式对新的实例实现更合理的资源分配，从而提高数据中心的利用效率。 完整的资源隔离：TOS通过优化Kubernetes资源管理框架实现了基于Docker容器对CPU，内存，硬盘和网络更好的隔离。TOS中Docker容器的隔离目前是由Linux内核提供的六项隔离，包括主机名与域名的隔离，信号量、消息队列和共享内存的隔离，进程编号的隔离，网络设备、网络栈、端口的隔离，挂载点（文件系统）的隔离，用户和用户组的隔离。这些隔离保证了不同容器的运行环境是基本不受影响的，比如挂载点的隔离，就保证了一个容器中的进程不能随意访问另外一个容器中的文件。 TOS平台相比于传统的Apache Yarn管理框架和开源Kubernetes的资源管理框架而言，在资源粒度方面可以管控磁盘和网络，而传统资源调度框架只能管理到CPU和内存；在隔离性方面，容器技术有天然的优势；在依赖性和通用性方面，不依赖于Hadoop组件以及技术，这意味着可以实现所有上层应用的云化开发、测试、升级以及管理调度。容器的隔离目前是由Linux内核提供的六项隔离，包括主机名与域名的隔离，信号量、消息队列和共享内存的隔离，进程编号的隔离，网络设备、网络栈、端口的隔离，挂载点（文件系统）的隔离，用户和用户组的隔离。这些隔离保证了不同容器的运行环境是基本不受影响的，比如挂载点的隔离，就保证了一个容器中的进程不能随意访问另外一个容器中的文件。 表5-1 Yarn管理 资源粒度 隔离程度 依赖性 通用性 YARN CPU/MEM 进程级别、不精确 依赖某个HDFS 支持少量计算引擎 Kubernetes CPU/MEM Container 不依赖Hadoop 支持通用Linux负载 TOS CPU/MEM，DISK，NETWORK Container+Quota+VLAN 不依赖Hadoop 支持大数据及通用应用 灵活资源调度：TOS支持对TDH组件自动扩容或者缩容，同时也允许其他应用服务和大数据服务共享集群，从而提高资源的使用率。TOS创新的支持抢占式资源调度模型，能在保障实时业务的同时，提高集群空闲时