企业大数据湖建设策略与一体化运营方案PPT讲解.pptxVIP

企业大数据湖总体规划及大数据湖一体化运营管理建设方案

目录

1背景：大数据湖的发展背景与建设理念

2体系：大数据湖体系规划与建设思路

3生态圈：探索新兴业务入湖建设模式

4共享：大数据湖统一访问共享规划

5运营：大数据湖一体化运营管理建设

2

完整性、一致性、交互稳定性，

并发性，异常可恢复性

企业级跨域整合、业务扩展性、

架构设计合理性、流程规范性

数据

应用

数据

仓库

细节数据(DetailData)

点击流日志

数据

Microsoft

SQLServer2016

Certifiedfor

TEM.DB2.

sottware

ORACLE

Informix

MySQLDATABASE

SYBASE6PostgreSQL

1

数据库时代

关系型数据库解决了信息时代的数据资源存储和管理，实现了电子化的文件柜

√采用数据模型表示数据结构，冗余小√面向事务管理，具有ACID特性

√数据统一管理和控制，易维护和扩充√程序与数据独立，具有良好用户接口

2

数据仓库时代

DW研究和解决了从数据库中获取信息的问题，通过OLAP、数据挖掘等帮助企业决策分析，构建商业智能(BI)

√面向主题的，关注用户重点业务

√集成的，跨越历史、区域、系统…

√稳定的，具有只读性质，以查询为主√以时间序列存储，非规范化管理

2000sGoogle发布三篇论文

3大数据平台时代

面对大数据5V特点，采用分布式、并行化的存储和计算架构，提升数据处理能力

√对象：PB级，80%以上非结构化数据

√技术：分布式架构、云计算、虚拟化等√CAP原理：CAP→BASE

√目标：线性扩展、弹性计算、实时响应、动态调节

1970sE.F.Codd发明DBMS1990sBillInmon提出DW概念

数据架构与承载体系的演变过程

存储经济性、高性能、高扩展、

高并发、灵活模型适配性

业务模型

(BusinessModel)

003BD

Core上

数据分析

(DataAnalysis)

数据挖腿

(DataMining)

cassandrarbe

多维数据模型

(OLAP)

文档数据

{Documents)

聚合数据

(Summary)

数据库数据

(OLTP)

即席查询

(Ad-hoc)

报表展示

(Report)

80*TwA8Wmp

(ClickStream)

Thrift

Mzoop

元数据需理)MetaData)

其蛇

TB

Luet

3

sHadoop

背景：数据快速入湖，分析更加智能，应用更加多样，服务更加开放

◆更多企业数据将进入数据湖，来自传统系统的数据和传感器等新型数据资源不断融合，数据孤岛将继续被打破。

◆随着大数据分析能力的不断提高，人工智能的重要性被逐步提升。当今最先进的机器学习和人工智能系统正在超越传统的基于规则的算法，创建出能够理解、学习、预测、适应，甚至可以自主操作的系统。

·以更加深度的数据开放，跨行业大数据关联。

·以更多样的应用能力，构建针对性行业解决方案。

·智能应用，基于AI与机器学习分析，个性化服务提供。

·应用快速构建，基于数据湖进行细粒度的收集、探索和分析

·从深度学习到机器学习，从机器学习到人工智能。

·基于数据湖的大量的原始数据，深度训练，快速分析

·入湖即治理，针对性对数据源系统输入数据制定入湖标准

·数据驱动治理规范，以数据为核心实时制定治理规范。

·数据平台存储方式向数据湖模式转变，多数据汇聚。

·支持结构化，半结构化和非结构化数据多数据入湖

数据服务

深度数据开放，针对方案制定

数据应用

应用更加智能，构建更加快速

数据分析

人工智能分析，直引湖中数据

数据治理

数据驱动规范，入湖标准制定

数据湖

大数据发展趋势分析

数据服务

数据

应用

数据分析

数据治理

数据

平台

4

企业现在正处于大数据的“焦虑期”

口存储成本问题：海量数据需要在多环境、多级下重复存储，存储开销大

口数据形态问题：应用大多聚焦在经过加工后的再生数据，原始数据无法得到充分利用

口业务响应问题：必须事先进行充分规划和较长周期加工，欠缺运营所需的灵活性和时效性

√数据来源于