XX能源云数据平台建设项目.doc

  1. 1、本文档共136页,可阅读全部内容。
  2. 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多

目录

1项目背景 2

2需求理解 3

3项目目标 4

3.1建立健全的数据管理体系 4

3.2为未来的大数据平台建设提供基础保障 5

3.3提升对现有业务系统及数据平台的管理水平 6

3.4帮助新奥能源建立自己的数据管理能力 6

3.5建立云端大数据平台支撑业务创新和管理变革 6

4项目范围 7

4.1云数据平台架构规划设计 7

4.2数据管理体系咨询与设计 7

4.3云数据平台建设与实施 7

4.4数据分析展示应用设计开发 8

5总体方案概述 9

5.1总体方案架构 9

5.2总体方案说明 9

6技术方案 11

6.1平台部署架构 11

6.2技术方案 11

6.3产品功能清单 49

第2页,本部分共136页

1项目背景

随着大数据时代的来临,面对爆发式增长的海量数据,基于传统架构的信息系统已难以应对,同时传统商业智能系统和数据分析软件,面对以视频、图片、文字等非结构化数据的大量数据时,也缺少有效的分析工具和方法。基于公司现有ERP系统、BW数据仓库和BO工具生成报表已经不能很好的满足公司运营管理需求,且现有BW中数据模型越来越复杂,无法对数据变更产生的影响和数据流转过程进行追溯,数据的及时性、准确性也无法保证。

通过搭建大数据平台是解决上述问题的有效途径,如下图:

其中数据管理平台是大数据平台的必要组成部分。借助数据管理工具能够更加有效的发掘和利用信息资产的价值,提升数据资产的可信度,实现精准高效的分析和决策,推进系统变更管理,降低项目风险。

通过数据管理平台元数据抓取、数据模型管理、报表指标管理、数据质量监控等能力,绘制企业级数据全景地图、统一数据口径、标明数据方位、分析数据关系、管理模型变更,并通过开放元数据的基础数据能力,为灵活多变的元数据应用提供元数据基础服务支持;为大数据平台的日常运维和数据质量管理提供数据链路分析功能支持。

第3页,本部分共136页

2需求理解

1)数据平台中数据内容繁多,难以全面掌控。

通过多年的信息化建设和运营,新奥能源已经建立了完善的业务应用系统,有效的支撑了核心业务的创新和发展,但随着应用系统的增多,数据量和数据应用环境增大,在对这些数据进行使用的过程中逐渐存在不合理、不统一的问题。

目前新奥能源信息化系统架构主要划分了3层,包括源系统层、数据仓库层及数据应用层。

l源系统层包括ERP系统、CCS系统、EAS财务系统、加气站管理系统等。

l数据仓库层由BW构建,ERP系统体系内的数据由BW直接抽取,其他系统由ETL工具dataservice抽取,抽取汇总后进行指标的提取和统计分析。

l数据应用主要包括门户和报表展现,展现的工具有SAPBO、BW的Query、管理员驾驶仓,展现直接嵌入门户,也有自装客户端进行报表展现。

2)数据平台中数据的流转和逻辑过程复杂,难以追溯数据来源。

公司目前没有统一的数据资产标准,各业务系统中数据质量参差不齐,存在信息孤岛现象,不同部门同一名称数据可能有不同的含义,同一个数据可能又有不同的命名,数据有效交互和共享存在问题。存在部分系统数据更新不及时的问题,核心业务数据无法朔源,数据的准确性和及时性较低,现有报表在建模时几乎每个报表都要重复建模,人为参与工作过多且层次复杂,无法高效的对流程及指标进行精确监控及分析,数据的利用效率和模型重复使用率较低。

由于没有统一的工具提供统一的数据流视图,无法实现数据台账可视化管理、数据来源的可追朔以及数据质量监控全过程管理等功能,对于在应用层的结果数据无法追溯数据流转和处理过程,也无法对于数据变更产生的影响进行分析,在数据资产的管理上消耗很多人力和时间成本,降低了公司的数据管理水平和数据使用效率。

3)业务部门对数据结构和质量无法管控

目前数据管控的发展方向和需求是由业务部门提出,但业务人员对公司复杂的系统无法进行全面深入掌握,特别是技术层面。为了使业务部门从数据结构到数据质量上更好的管控,梳理业务系统与数据库结构关系,成为目前急需解决的问题之一。

4)需要新型的大数据平台挖掘数据价值

新奥能源目前正在规划未来的大数据平台,以应对日益增长的业务数据并从中挖掘更

第4页,本部分共136页

多价值,增强企业竞争力。作为

文档评论(0)

177****5285 + 关注
实名认证
内容提供者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档