企业数据分层管理及对接大数据平台.pdf

企业数据分层管理及对接开源大数据技术 徐正君 zheng-jun.xu@ © 2016 SAP SE or an SAP affiliate company. All rights reserved. 1 大数据技术架构需要面对的挑战 传统的数据库部署方式不擅长处理TB级别的数据，快速增长的数据量超越了传统数据库的管理能 力。如何构建分布式的数据仓库，并可以方便扩展大量的服务器成为很多传统企业的挑战。 很多企业采用传统的数据库技术，在设计的开始就没有考虑数据类别的多样性，尤其是对结构化 数据、半结构化和非结构化数据的兼容。 传统企业的数据库，对数据处理时间要求不高，这些数据的统计结果往往滞后一天或两天才能统 计出来。但大数据需要实时处理数据，进行分钟级甚至是秒级计算。 © 2016 SAP SE or an SAP affiliate company. All rights reserved. 2 为什么要分层处理？ © 2016 SAP SE or an SAP affiliate company. All rights reserved. 3 为什么要分层处理？ © 2016 SAP SE or an SAP affiliate company. All rights reserved. 4 SAP 大数据分层处理逻辑架构 SAP HANA Smart Data Streaming 运  采用高吞吐量和低时延流处理技术实时捕获数据  自定义规则来转换、过滤、聚合事件流 算 速 SAP HANA SAP HANA  在内存中即时处理数据 Hot Data 度  组合结构化和非结构化数据 Instant Results  创新的行业解决方案和企业应用程序  基于预测、文本和空间数据的高级分析 Dynamic Tiering SAP HANA Dynamic Tiering Warm Data  准实时的处理和分析能力 量 Petabyte storage  高性能企业级数据仓库 据  近线列式动态存储 数 Hadoop  基于廉价设备的高效数据处理系统 HADOOP  海量非结构化数据的联邦查询 （通过MapReduce 同步 ） Cold Data  通过 Hadoop 分布式文件系系统(HDFS)实现无限量存储 © 2016 SAP SE or an SAP affiliate company. All rights reserved.