大数据中心建设路.pptx

西安美林 杨晓辉国网数据中心概念数据中心建设任务展现方式数据分析应用方式数据整理数据转换数据汇总集中存储InfoCube营销生产电力市场综合数据抽取DSOPSA源系统营销、生产、综合等业务应用和其它外部数据ERP紧耦合业务应用数据数据中心目标架构企业门户展示层人力分析计划分析营销分析生产分析电力市场分析数据分析应用层财务分析项目分析跨专业综合分析综合统计分析物资分析设备分析数据集市层跨专业综合集市企业数据仓库(EDW)数据存储层ODS数据源层数据中心执行架构数据仓库架构数据访问架构数据源数据抽取数据存储数据访问最终用户访问系统、非系统数据缓存抽取ODS转换排序过滤加载报表报表清洗数据仓库查询门户系数据访问统套装软件业务在线分析抽取更新知识发现数据集市转换加载DSO关联元数据管理服务技术元数据业务元数据元数据知识库数据全域服务文档管理服务应用连接服务性能与可用性服务被拒绝数据中间件连接监控数据注解管理器批处理服务通用服务任务重启与日志与审核文件传输帮错误处理数据归档恢复跟踪助任务调度参数化异常线程管理AnalysisETLHP业务系统数据库服务器ODSDSO/DMDW/DMWEB心跳线数据中心物理架构BI应用服务器可由多个服务器组成应用集群BI 应用服务器群ETL/Monitor/Analysis存储光纤交换机光纤交换机磁盘柜磁带库备份服务器数据中心建设的终极目标企业统一数据模型数据边界——顶层信息模型实现最终目标的困难业务挑战现有分析系统仅提供简单的报表能力，功能单薄领导层无法从企业全局角度出发对企业各个业务条线进行跨业务、多角度、多层次的综合分析业务分析系统多集中于各自专业领域，而跨业务专题的分析应用能力尚不具备存在相同数据多头上报并且上报数据不一致的问题缺乏对现有数据的高级分析应用，没有合理地发挥和利用网省电力业务数据资产的价值技术挑战各个业务系统相互独立，业务人员难以进行跨系统业务分析现有分析型系统与相应生产型系统耦合性较强，受到生产型系统影响较大，缺乏对全业务分析的支持数据不一致问题较严重，对于相同业务数据存在多个不同版本各业务系统自行管理数据，业务数据的含义在企业的各个部门内存在不一致的解释各类业务系统内数据质量较低业务因素数据分析类型划分不够明确缺少统一的报表与指标体系规范缺乏明确的数据认责技术因素缺乏规范的数据架构缺乏明确的数据定义数据分布不合理数据模型不一致数据管理不规范缺乏企业级整合的数据缺乏有力的系统实施和使用管控机制网省电力数据应用所面临的挑战数据中心的建设策略短期见效、应用驱动展现全局指标数据，早出成果，短期见效，以应用促建设非源头数据直接导入，健全全局类指标数据转移部分业务系统查询功能切断统计途径推动数据中心应用数据中心建设最终是为解决业务部门专业分析能力而服务，在这个逐步推进、不断完善成熟的过程中，应着重解决影响应用实用性不强的如下几点：123好的经验、方法和操作流程是关键，促进信任关系的建立，解决互不信任的局面。在一套有效的方法的指导下，同时遵照一个好的流程，就容易得到领导支持，得到业务人员的有效参与和技术人员的有力配合 业务部门主导解决长周期项目中期没有任何产出的现状消除领导及业务人员对数据中心建设疑虑建设期间、获取业务人员对实施过程中的认可和支持，从而不断增强他们对项目的信心及应用实用性的肯定过程中不断出成果解决企业数据“进口”与“出口”数据统一切断网省业务人员获取统计数据的其他来源，统一定义从数据中心获取切断业务应用向总部交换数据的其他途径切断原有数据统计、汇报方式数据中心的建设方式1、自顶向下（追溯法\分析应用法）既先分析报表中指标数据，再根据指标的构成进行追溯分析，直至建设粒度到最小的、不可再分的业务细节数据；这种方式有利于梳理统计类指标，分析企业中各统计指标的口径。侧重纵向数据关联。2、自下而上（数据整合法）这种建设思路是先建立企业的概念模型，然后利用数 据仓库和企业建模标准等思想进行全面的数据模型设计、物理模型设计。侧重横向分析和标准建设。3、折中建设建设方法对比优势挑战适用于可实行有效的数据质量管理可快速进行分析应用的扩展要具备成熟的数据标准和数据模型数据整合投入较大，短期内与分析应用收益不能相符数据基础较好有成熟建模经验方法1. 先数据整合、再构建分析应用分析应用快速见效数据质量无法保障只能满足部门级使用业务较为简单或业务需求明确方法2. 先构建分析应用、再进行数据整合（或者不进行全局整合）调动业务驱动力工作方法的统一一致建设团队的有效分工、协作分析应用快速见效逐步深化的建设方法，兼顾效率和可扩展性业务条线复杂、数据基础水平不一、应用需求层次不同方法3. 边构建分析应用、边进行数据整合建议采用方法3进行数据中心数据整合的建设分析应用演进专业分析建设方法按试点、推广、验证的数