云平台与大数据技术方案1123.docVIP

　　　　　　 PAGE 96 云平台与大数据 技术方案 目录 TOC \o 1-4 \h \z \u 第1章 项目概述 4 第2章 需求分析 4 2.1. 项目目标 4 2.1.1. 实现存量异构资源的统一资源池化能力 4 2.1.2. 实现海量数据资源的共享化和高效利用能力 5 2.1.3. 建立低成本高效能的快速应用开发运维模式 5 . 快速开发 5 . 快速测试 6 . 快速部署 6 . 快速运维/升级 6 . 云服务平台 6 . 云服务交付平台 7 2.2. 项目需求 7 2.2.1. 统一资源池建设需求 7 2.2.2. 数据共享应用体系需求 8 第3章 方案架构概述 8 3.1. 总体结构 8 3.1.1. 总体架构设计 8 3.1.2. 技术架构设计 9 3.1.3. 功能架构设计 10 3.1.4. 数据交换架构设计 12 3.1.5. 系统部署架构设计 13 3.1.6. 应用集成架构设计 14 3.2. 逻辑结构 17 3.2.1. 总体逻辑结构设计 17 3.2.2. 应用系统逻辑结构设计 17 3.2.3. 应用支撑组件逻辑架构设计 18 3.2.4. 数据处理及存储系统逻辑结构设计 21 3.2.5. 备份容灾系统逻辑结构 21 3.2.6. 运维体系逻辑结构设计 22 第4章 技术方案 26 4.1. 华云应用支撑平台技术方案 26 4.1.1. 华云云服务交付引擎技术方案 26 . 平台管理员门户 29 . 系统管理员门户 30 . 用户自助门户 31 . 统一流程管理 32 . 统一计量统计 34 . 统一服务目录 35 . 统一权限管控 38 4.1.2. 华云基础设施云引擎技术方案 39 . 资源池建设方案 40 . 异构虚拟化资源池管理 43 . 调度策略管理 49 . 存储资源管理 53 . 网络资源管理 56 . 开源技术增强和完善 60 4.1.3. 华云应用服务云引擎技术方案 61 . 应用服务管理 61 . 应用服务发布 64 . 应用管理和应用环境管理 66 4.1.4. 华云统一监控运维体系技术方案 73 . 华云统一监控系统工作机制 73 . 监控策略控制器 76 . 监控事件中心 77 . 监控指标 77 . 华云通用日志系统工作机制 78 4.2. 华云大数据平台技术方案 80 4.2.1. 数据集成 80 . 多采集方式 80 . 数据清洗与转换 80 . 集成任务流程设计 81 . 任务调度与监控 81 4.2.2. 数据存储 82 . 分布式文件系统 82 . 分布式对象存储 82 4.2.3. 数据计算 82 . 分布式计算引擎 82 . 分布式内存计算引擎 83 . 分布式数据库 83 . 分布式列存数据库 83 . 全文检索引擎 84 4.2.4. 数据分析挖掘 84 . 数据视图 84 . 算法管理 85 . 模型管理 85 4.2.5. 数据服务 86 . 元数据服务 86 . 数据查询服务 86 . 全文检索服务 87 . 分析挖掘服务 88 . 可视化服务 89 . 对象存储服务 89 4.2.6. 数据治理 90 . 元数据管理 90 . 数据质量管理 91 . 数据流向监控 92 4.2.7. 大数据平台管理 94 . 安全管理 94 . 日志管理 95 . 监控告警 95 . 集群维护 96 4.3. 华云数据交换平台方案 97 4.3.1. 数据交换平台工作机制 97 4.3.2. 数据交换服务申请 98 4.3.3. 数据交换分区服务发布 100 4.3.4. 数据交换日志 101 第5章 系统运行环境 102 5.1. 硬件配置 103 5.2. 软件配置 103 5.3. 部署组网 105 项目概述 通过本期项目的建设，提高XX单位信息化水平，实现信息化软硬件基础设施基本齐备，结构优化，提高工作效率和工作质量。 项目建成后，在XX单位建立一整套业务应用系统和基础数据资源，将有效提升业务工作全过程的规范化、网络化和智能化管理，全