大数据中心建设思路.pptVIP

西安美林 杨晓辉 国网数据中心概念 数据中心建设任务 4 数据中心目标架构 展示层 数据分析 应用层 数据 集市层 企业数据仓库(EDW) 数据 存储层 数据源层 跨专业综合分析 营销分析 财务分析 生产分析 设备分析 人力分析 计划分析 综合统计分析 电力市场分析 物资分析 项目分析 跨专业 综合集市 企业门户 ODS 5 数据中心执行架构 批处理服务 性能与可用性服务 通用服务 最终用户访问 数据抽取 数据源 系统、非系统 数据存储 知识发现 在线分析 查询 数据访问 报表 报表 元数据管理服务 技术元数据 业务元数据 元数据知识库 数据仓库架构 数据访问 数据访问架构 门户系 统 数据全域服务 任务重启与 恢复 任务调度 监控 被拒绝数据 管理 错误处理 异常 日志与审核 跟踪 文件传输帮 助 数据归档 线程管理 参数化 文档管理服务 数据注解 应用连接服务 中间件连接 器 抽取 转换 数据集市 数据仓库 加载 数据缓存 ODS 排序过滤 清洗 抽取 转换 关联 更新 加载 DSO 套装软件业务 6 数据中心物理架构 磁带库 光纤交换机 光纤交换机 磁盘柜 存储 备份服务器 BI 应用服务器群 ETL/Monitor/Analysis BI应用服务器可由多个服务器组成应用集群 数据中心建设的终极目标 企业统一数据模型 数据边界——顶层信息模型 实现最终目标的困难 11 网省电力数据应用所面临的挑战 数据中心的建设策略 短期见效、应用驱动 展现全局指标数据，早出成果，短期见效，以应用促建设 非源头数据直接导入，健全全局类指标数据 转移部分业务系统查询功能 切断统计途径 推动数据中心应用 数据中心建设最终是为解决业务部门专业分析能力而服务，在这个逐步推进、不断完善成熟的过程中，应着重解决影响应用实用性不强的如下几点： 好的经验、方法和操作流程是关键，促进信任关系的建立，解决互不信任的局面。 在一套有效的方法的指导下，同时遵照一个好的流程，就容易得到领导支持，得到业务人员的有效参与和技术人员的有力配合 解决长周期项目中期没有任何产出的现状 消除领导及业务人员对数据中心建设疑虑 建设期间、获取业务人员对实施过程中的认可和支持，从而不断增强他们对项目的信心及应用实用性的肯定 解决企业数据“进口”与“出口”数据统一 切断网省业务人员获取统计数据的其他来源，统一定义从数据中心获取 切断业务应用向总部交换数据的其他途径 1 2 3 业务部门主导 过程中不断出成果 切断原有数据统计、汇报方式 数据中心的建设方式 1、自顶向下（追溯法\分析应用法） 既先分析报表中指标数据，再根据指标的构成进行追溯分析，直至建设粒度到最小的、不可再分的业务细节数据；这种方式有利于梳理统计类指标，分析企业中各统计指标的口径。侧重纵向数据关联。 2、自下而上（数据整合法） 这种建设思路是先建立企业的概念模型，然后利用数 据仓库和企业建模标准等思想进行全面的数据模型设计、物理模型设计。侧重横向分析和标准建设。 3、折中建设 建设方法对比 方法1. 先数据整合、再构建分析应用 方法2. 先构建分析应用、再进行数据整合（或者不进行全局整合） 方法3. 边构建分析应用、边进行数据整合 优势 挑战 适用于 业务较为简单或业务需求明确 数据基础较好 有成熟建模经验 业务条线复杂、数据基础水平不一、应用需求层次不同 要具备成熟的数据标准和数据模型 数据整合投入较大，短期内与分析应用收益不能相符 可实行有效的数据质量管理 可快速进行分析应用的扩展 分析应用快速见效 数据质量无法保障 只能满足部门级使用 分析应用快速见效 逐步深化的建设方法，兼顾效率和可扩展性 调动业务驱动力工作方法的统一一致 建设团队的有效分工、协作 建议采用方法3进行数据中心数据整合的建设 分析应用演进 专业分析建设方法 17 业务驱动力梳理 分工协作模式确认 建设任务分工 实施验证 业务部门专业分析建设驱动力调研 按专业分析建设指导思路，深化业务部门专业分析需求调研 按数据耦合度分工建设 可按源系统接入管理、数据整合管理、分析应用建设管理的方式分工建设 组建专业分析应用建设团队，同数据中心运维团队建立分工协作机制，有效推进数据整合工作 按试点、推广、验证的数据中心建设流程迭代完成数据中心逐条线建设策略的部署 18 选择合适专业分析应用 满足业务部门需要量身定制的业务需求 生产分析举例 典型日负荷曲线增长趋势分析 峰谷差分析 责任频率合格率分析 电压合格率分析 变压器负载情况分析 安全生产分析举例 人身事故分析 设备事故分析 电网事故分析 电力设施保护分析 设备障碍情况分析 避免综合统计查询建设涵盖面广、集中展现指标集合的现象 解决数据粒度粗放，业务主题分析不够深入的问题 按专业分析条线逐步完成数据整