XX大数据云平台建设技术规划XX副本.pptx

XX 201X年X月 某公司大数据云平台 （cloud-T） 建设技术规划 目录页 — 3 — 第一篇 产品现状 人防 园区 消防 供水 桥梁 添加标题 燃气 产品 现状 — 4 — 第一篇 产品现状 存在 问题 人防建设 消防建设 桥梁建设 供水建设 燃气建设 园区建设 其他建设 — 5 — 第一篇 产品现状 建设 目标 消防 供水 人防 ？ 园区 燃气 桥梁 大数据云平台 — 6 — 第一篇 产品现状 建设 目标 云平台 IaaS PaaS SaaS AOC/DevOps 第一篇 产品现状 建设 目标 — 8 — 第二篇 云平台总体架构 平台 总述 IaaS：提供基本的计算、网络和存储资源。 PaaS：中间层，提供对行业业务应用的支持。 SaaS：向用户交付最终业务应用和数据分析。 PaaS环境层：为业务应用提供支撑的软件组件、包括各种中间件和数据库等。以Hadoop为代表的大数据处理。 PaaS业务层：包含了应用的后台程序，数据处理算法以及业务数据等实现业务能力的元素。 PaaS服务层：将业务层的业务、算法和数据以接口的形式提供给上层的前端应用直接访问。 — 9 — 第二篇 云平台总体架构 云管理 — 10 — 第二篇 云平台总体架构 云管理 特点 面向一般数据中心典型的应用场景，提供对混合IT资源的统一接入，以构筑云模式下基础资源调度的最佳实践。 以PaaS能力为核心，将应用系统的典型软件组件以服务形态提供，为业务系统提供统一环境支持，并进行统一管理和监控。 将大数据平台作为典型服务组件整合到云平台中进行统一管理，以适应未来应用对大数据能力的普遍使用。 为用户提供面向DevOps的统一云服务业务流程，以统一平台提供传统的IaaS和PaaS能力，并贯穿开发、测试和生产的全过程。 — 11 — 第二篇 云平台总体架构 服务资源构建 — 12 — 第二篇 云平台总体架构 服务资源构建 混合IT基础环境： 数据中心的最佳实践通常需要由物理机和不同价位和能力的虚拟化技术共同构成。一个最佳性价比的方案可以是使用物理机支持核心数据库和大规模计算、使用高效稳定但成本高的虚拟化系统如VMWare等支持核心业务、使用普通虚拟化系统如HyperV等支持普通业务系统、最后使用低成本虚拟化系统如KVM等支持开发测试等环境。 多资源区统一管理： 同一类虚拟化资源或者物理资源可以构成一个或若干个基本资源区。每个资源区一般包含一定数量的物理机。资源区的划分方式取决于业务的区隔。 — 13 — 第二篇 云平台总体架构 服务资源构建 服务域： 承载支撑应用系统的软件组件以服务形式进行交付的区域。在这个区域中，每一套软件组件有一个自己独立的服务域。一个服务域中，软件组件典型的部署模式包含以下三种： a)按需模式：在一个服务域初始化时不创建具体的服务实例，当有用户请求时再根据用户需求创建该软件组件的实例。 b)预置模式：在服务域创建时构建相应软件组件的多个实例。当用户请求该软件的实例时，系统直接从已经创建的实例中进行分配。同时，该模式可以按照一定的策略保证空闲实例的数量。 c)多实例模式：对一些特定类型的服务组件，一次部署以后可以产生多个服务实例。在这种情况下，该服务域在创建时可直接部署该组件，然后通过特定的服务接口在用户申请实例时，由这个部署的组件不断的创建服务实例。 — 14 — 第三篇 大数据基础构建 大数据基础管理架构 采用分层整合，灵活配置，横向扩展，纵向贯穿的大平台服务能力，其计算框架、存储框架都以容器的方式可轻松灵活的在线进行装卸，以平滑扩充大数据平台的集成能力。以Hadoop平台为基础，可在此基础上集成适应Hadoop体系的二级计算框架、通用的数据处理算法库和数据集市仓库。 2019-8-3 15 可编辑 — 16 — 第三篇 大数据基础构建 大数据基础管理架构 大数据基础平台组成： 1.分布式存储框架：主要负责针对海量数据的存储，以分布式存储技术，支持快速、海量、多种类型的数据存取。主要支持从数据源抽取数据大数据基础平台存储，集成多种存储方式，有针对结构化数据、非结构化数据和半结构化数据的存储。 2.计算框架：主要提供批处理计算、内存计算、流式计算框架，由数据处理管理驱动来分配和调度计算框架，加载数据处理算法，完成数据处理。 3.二级计算框架：主要提供Hive、Mahout等计算能力，这些计算能力最终还会使用计算框架来完成计算。 4.数据集市仓库：主要对计算框架完成后的结果进行存储，支持Hbase、Mysql等存储，同时将数据以接口的形式开放出去。 — 17 — 第三篇 大数据基础构建 大数据基础管理架构 大数据基础平台组成： 5.全文索引库：采用大数据基础