Spark引擎支持MPP计算场景.pdf

扩展Spark引擎支持MPP计算场景 ——替换大规模企业级传统数据仓库 张成松 May 12, 2017 zhangcs2@L 2017 Lenovo Internal. All rights reserved. 个人简介--张成松 联想大数据研发总监 联想大数据平台首席架构师 （从无到有，全球化大数据平台，9 IDC、2000+节点) 互联网开源技术爱好者 非专业驴友 2 演讲内容 一个故事引出的业务场景 企业级数据仓库+大数据，如何碰撞出火花？ 来点干货，如何扩展Spark支持MPP计算场景？ Spark MPP在联想大数据企业级分析平台中的应用 2017 Lenovo Internal. All rights reserved. 3 一个故事引出的业务场景 2017 Lenovo Internal. All rights reserved. 4 业务在增长，数据 越来越多 数据查询、数据分析， 越来越慢 ，经常跑个 半小时也出不来 T+1的数据处理太慢， The Story of Data Analysis … 我想下一秒就知道业务 有没有问题 除了传统业务数据， 智能sensor、穿戴式 Oracle、SQL 设备数据，非结构化 Server数据库，存不 数据越来越多 下了 ，维护成本和费 用也越来越高 我不懂大数据， 数据大了就是 大数据吧？ 5 传统企业级数据仓库向大数据平台转型 解决传统数据应用问题 解决大数据计算问题 解决数据实时性处理问题 01 02 03  历史数据迁移  PB 级数据计算  实时数据采集