大数据系统核心技术.pdf

大数据系统引擎技术简介 高光荣 ACM Fellow、IEEE Fellow 中国计算机学会（CCF）海外杰出贡献奖获得者 特拉华大学终身教授 CAPSL实验室主任 ET International公司 创始人 CCF-大数据-12-13-2014 1 Outline • Motivation: – 大数据Hype Cycle的最新预测 – Symbiotic trend between big data and big compute • Background:大数据系统面临的严重挑战 • 大数据系统核心技术简介 • 数据流与大数据引擎的创新 • 大数据系统发展在中国的机遇与挑战 • 总结 CCF-大数据-12-13-2014 2 Gartner Report CCF-大数据-12-13-2014 3 Hype Cycle and Big Data • This Hype Cycle sits mainly on the Peak of Inflated Expectations. And big-data has just passed the peak. • We encourage department-level experimentation without enterprise commitment over the next three to five years. CCF-大数据-12-13-2014 4 Challenges and Opportunities Symbiotic of Bigdata and Big compute • Symbiotic HPC computing and data-Intensive processing • Heterogeneity: including sensors, controllers, mobile devices, etc. • Massive opportunity of concurrency • Vast dynamic and distributed environment • Asynchronous stream processing • Realtime continuous interaction with environment • Energy efficiency, resiliency and security challenges [Supercomputing 2014 特邀论坛，Gao，11/19/2014] 5 Outline • Motivation: – 大数据Hype Cycle的最新预测 – Symbiotic trend between big data and big compute • 大数据系统引擎面临挑战 • 大数据系统核心技术简介 • 数据流与大数据引擎的创新 • 大数据系统发展在中国的机遇与挑战 • 总结 CCF-大数据-12-13-2014 6 新的需求需要新的技术 基础需求 性能需求 功能需求 成本需求