大数据系统引擎技术.pdf

大数据系统引擎技术简介 1 Outline • Motivation: – 大数据Hype Cycle的最新预测 – Symbiotic trend between big data and big compute • Background:大数据系统面临的严重挑战 • 大数据系统核心技术简介 • 数据流与大数据引擎的创新 • 大数据系统发展在中国的机遇与挑战 • 总结 CCF-大数据-12-13-2014 2 Gartner Report CCF-大数据-12-13-2014 3 Hype Cycle and Big Data • This Hype Cycle sits mainly on the Peak of Inflated Expectations. And big-data has just passed the peak. • We encourage department-level experimentation without enterprise commitment over the next three to five years. CCF-大数据-12-13-2014 4 Challenges and Opportunities Symbiotic of Bigdata and Big compute • Symbiotic HPC computing and data-Intensive processing • Heterogeneity: including sensors, controllers, mobile devices, etc. • Massive opportunity of concurrency • Vast dynamic and distributed environment • Asynchronous stream processing • Realtime continuous interaction with environment • Energy efficiency, resiliency and security challenges [Supercomputing 2014 特邀论坛，Gao，11/19/2014] 5 Outline • Motivation: – 大数据Hype Cycle的最新预测 – Symbiotic trend between big data and big compute • 大数据系统引擎面临挑战 • 大数据系统核心技术简介 • 数据流与大数据引擎的创新 • 大数据系统发展在中国的机遇与挑战 • 总结 CCF-大数据-12-13-2014 6 新的需求需要新的技术 基础需求 性能需求 功能需求 成本需求 • 能从大数据中 • 不仅关注要如 • 对实时数据的 • 大数据技术需 挖掘出有价值 何挖掘数据， 复杂分析正成 要的大量的处 的信息 更关注这个过 为最普遍的需 理资源对成