能源企业大数据治理与应用.pptx

请输入您的标题SOMETHING ABOUT

1参与国家信息化标准制定华宇智能数据战略

能源企业两化融合取得巨大建设成就生产设备机械化、自动化综掘机综采机皮带运输机电子地磅ERP、OA经营管理信息化监测监控空间定位视频识别安全监控感知化智慧矿山

能源企业的智慧能源之路风险预测智能预警设备全生命周期管控无人少人智慧开采智慧运销

能源集团业态构成火电企业煤化工企业运销企业煤矿企业非煤矿山新能源环保科技

智慧能源大数据运营面临的难点异地 ?多(系统)源 ??异(数据结)构 ????海量 ????实时 ???数据采集数据存储数据处理数据融合

请输入您的标题SOMETHING ABOUT能源企业数据治理技术路线PARTONE

百喻经.三重楼喻

能源集团数据治理总体架构设计数据源管理系统数据感知数据ERP系统OA系统安全监测人员定位矿压水文设备监测工业视频外部数据气象政策舆情行业数据接入实时采集物联网时序数据视频流数据三违数据准实时、定时采集ETL RESTFUL数据处理数据清洗数据关联数据计算明细库（时序数据库）大数据资源池（资产）专题库经营集市 财务集市 生产集市 机电集市 安全集市 采购集市 销售集市 人力集市主题库煤炭行业电力行业化工行业数据共享交换平台数据传输节点管理交换审批数据应用数据资产门户数据资产检索数据资产订阅、审批数据管控数据标准管理元数据管理数据资产管理数据指标管理数据质量管理数据运营管理数据建模数据挖掘数据融合

能源集团数据治理技术架构ZookeeperSqoopMySqlDB2OracleSqlServer数据源分布式存储应用支撑结构化数据半结构化数据/非结构化数据Html文件Json文件音频文件视频文件……数据接入Kafka......离线数据接入实时数据接入SqoopHive数据仓库MapReduce分布式计算Impala查询引擎Solr分布式搜索Hbase列存数据库SparkStreaming流计算Sql分析SparkSQLSparkMllib机器学习ApacheSpark内存计算SparkGraphx图计算 数据指标计算数据挖掘数据清洗数据关联离线数据处理数据应用关系型数据库业务补录及系统资源库KettleGoldenGateDebeziumStreamSetsFlumePulsarLogstashYARNHDFS Kudu大数据基础平台分布式计算Flink流计算数据治理工具数据分析可视化工具数据挖掘工具

HADOOP（二层逻辑架构）大数据资源池ODS贴源层KAFKA数据接入服务ETLRESTful接口EDW清洗层……企业A企业NDCS(PLC）MES 安全监测矿压监测 水文地质监测人员定位供电监控企业A……企业NGDW汇总计层算按数据标准清洗数据数据汇总指标计算合并宽表数据关联企业A……企业N财务ERPOA集团集团数据清洗DM集数市据层集团集团财务产能安全运销环保生产 掘进 机电洗选 报警 库存企业A……企业N数据应用 集团用户 A企业用户 B企业用户视频1安全 2人员 3综合自动化 4水文 5微震6应力 7安全生产元数据管理数据标准管理数据质量管理主数据管理数据资产管理数据权限管理数据管理数据指标管理

数据治理（管控）平台部门数据库数据策略级别协议数据销毁分类评估数据归档生命周期管理元数据采集元数据管理 元数据检索 版本管理血缘分析影响分析实体定位变更追踪异常监控去隐私化数据脱敏安全传输数据安全管理识别申请主数据检索主数据管理资产编目资产检索资产服务数据资产标准查询标准映射标准发布数据标准数据传输节点管理交换审批数据交换主数据存储共享发布主数据监控治理门户数据地图资产交换频率分析标准化数据查询数据画像数据质量整改报告数据治理比对分析数据服务API更多应用……资产统计睿治数据治理平台规则管理质量评估问题整改数据质量管理方案管理质量报告质量监控标准元数据 检核对象基础库主题库专题库共享库第三方数据……支撑平台应用平台

技术元数据业务元数据管理元数据元数据管理元数据采集元数据版本管理元数据检索元数据分析

多多都基于业务查看元数据全貌元数据管理

指标标准公共代码标准基础数据标准部门数据标准灵活管理多种数据标准数据标准管理

定期巡检各系统标准执行情况数据标准管理

数据质量管理业务系统感知系统明细库主题库专题库数据应用

多多都数据质量管理

数据清洗

多多都基于元数据的资产编目多视角编目目录活化，无需人工干预数据资产编目

多多都数据资产交换申请

数据治理门户大屏实时掌控数据资产状况

数据治理统一流程1调研数据问