-精选版云计算能源行业解决方案.pptVIP

每天进步一点点 每天进步一点点 每天进步一点点 每天进步一点点 云计算能源行业解决方案 * Part 1：能源行业IT现状 Part 2：能源行业云计算解决方案 Part 1: 能源行业IT现状 * 能源行业IT系统遇到的挑战 * 云计算是最佳解决方案 * Part 2: 能源行业云计算解决方案 — 数据中心 — 大数据处理 — 桌面云 * 方案架构 服务器 交换机 存储 防火墙 勘探开发数据库 地面工程数据库 油气存储数据库 。。。 项目数据库 空间数据库 云管理平台软件 勘探生产信息系统、勘探一体化信息平台、 生产指挥、数字勘探、数据开发、数据井筒、地理信息、 企业信息门户、一体化集成应用系统 资源弹性出租 专业数据库 数据中心 集成 桌面云 * 云机房解决方案概述 * 云计算机房:绿色节能 * 云计算机房:智能管控 * 服务器自动化调度确保最优利用率 * 跨站点业务调度 * 自动化扩容、减容提升部署效率 * 端到端容灾机制实现99.999%可靠性 * 数据中心服务器利旧方案 * 丰富的运维工具 - 基于SLA的质量保证 * 低成本海量存储比传统SAN降低40%成本 * 扩展业务新蓝海: IT资源弹性租赁 * 精细化内部计费像电一样消费IT资源 * Part 2: 能源行业云计算解决方案 — 数据中心 — 大数据处理 — 桌面云 * 海量数据应用架构 * 数据源 数据 处理 数据 存储 分析 应用 数据访问 数据清洗转换 企业级数据仓库 数据集市 数据挖掘 知识发现 信息访问 外部数据 共享数据 业务数据 基础数据 抽取 转换、清洗、装载 ODS 数据存储 DM DM 流程调度元数据管理 多维分析 报表、EIS 聚类 决策树 即席查询 预测模型 海量结构化数据存储 * 大容量：支持PB级别的数据存储能力 低成本：基于PC架构，不需要外接集中存储设备 高性能：秒级别索引查询、数据并行扫描 可靠性：数据冗余备份永不丢失；全系统无单点 可定制：根据应用需求选择索引类型及存储引擎 接口丰富：提供标准的JDBC/ODBC/ SQL接口；提串行Scan接口和分布式MapReduce接口 外围工具：支持数据、性能、故障、配置、日志管理功能；支持外部数据并行加载；支持数据快速备份、恢复 数据存储和并行分析 * TaskTracker (MapTask) TaskTracker (MapTask) TaskTracker (MapTask) TaskTracker (ReduceTask) TaskTracker (ReduceTask) 中间结果 中间结果 中间结果 输出数据 输出数据 JobTracker 用户程序 (JobClient) 提交作业 任务调度 任务调度 状态监控 状态监控 1 2 3 自动并行化：系统自动进行作业并行化处理，简化编程难度 自动可靠处理：系统自动处理节点/任务的故障检测和恢复 灵活扩展：节点可以灵活加入和退出，系统自动感知节点状态并进行处理 高性能：计算任务将被调度至数据所在的节点，减少网络开销，提升执行性能 MapReduce HyperDFS 数据高度可靠：数据具有多个副本，保证数据可靠性 系统高可用性：通过多个元数据服务器实时同步，实现系统高可用性 磁盘故障自动发现与处理：监测节点磁盘性能与错误，部分磁盘故障情况下，自动退服故障硬盘，不影响节点可用性 在线更换磁盘：在线更换发生故障的磁盘，不影响节点服务连续性。 并行数据挖掘 * 任务 任务分解 … M 1 M 2 M i R 1 R j 子任务 block1 数据分割 block1 block1 block2 block2 block2 block3 block3 block3 M 1 M 2 M i R 1 R 2 … R 2 … R j HadoopDFS HugeTable MapReduce 并行 数据挖掘 各种海量数据处理、挖掘应用 数据交换 并行 数据探索 Web GUI/工作流引擎 SQL脚本 CLI命令行 应用 用户权限管理 高效丰富的数据ETL操作：支持数据清洗、转换、集成等7大类45种ETL 海量数据的挖掘算法：支持分类、聚类、关联分析等3大类共15种算法 海量数据探索能力：支持数据统计、变量分析、分布特征探索等 大规模社交网络分析：支持网络特征分析、社团发现和演化、社团展示等 多模式数据接口：支持与RDB直接交换数据、支持Hive、CSV格式数据 支持SaaS服务模式：Web浏览器使用，并可支持应用共享 支持丰富的用户UI： 支持Web图形化方式创建数据分析逻辑，支持SQL脚本方式，支持CLI命令行方式 支持二次开发：Java API、We