2019年大数据系统——代表性技术和发展趋势.pdfVIP

大数据系统：代表性技术和发展趋势 李晖 cse.HuiLi@gzu.edu.cn Big Data: Gartners 2011 Hype Cycle Advanced Computing and Information Engineering 2 Big Data: Gartners 2012 Hype Cycle Advanced Computing and Information Engineering 3 Big Data: Gartners 2013 Hype Cycle Advanced Computing and Information Engineering 4 Outline • 大数据系统的发展背景 • 代表性的大数据系统 • 大数据系统的关键技术和技术挑战 • 大数据系统的发展趋势 • BigData@Me • 关于开展大数据科研@GZU Advanced Computing and Information Engineering 5 Outline • 大数据系统的发展背景 • 代表性的大数据系统 • 大数据系统的关键技术和技术挑战 • 大数据系统的发展趋势 • BigData@Me • 关于开展大数据科研@GZU Advanced Computing and Information Engineering 6 现状：数据增长迅速 Big data in the world 1024 传感(器)数据，流 式数据，非结构化 数据(如：多媒体数 据)，科学数据是新 增数据的主要构成 部分。 Data Analysis Challenges, JSR-08-142, JASON, The MITRE Corp, 12/08 Advanced Computing and Information Engineering 7 Real Issues of Big Data • 什么是大数据？ • 大数据的特性有哪些？ • 4V of Big Data 多样化（Variety ） 快速化（Velocity ） 大数据 巨量化（Volume ）价值化（Value ） Advanced Computing and Information Engineering 8 Real Issues of Big Data • 大数据与海量数据/大规模数据的区别是什么？ • 大数据的真正问题和焦点是什么？ – 高效的管理和分析数据 产生价值 • Volume: big means massive/large-scale; +++ (a must-have V) – Too large for the conventional DB, DM, Visualization techniques • Velocity: ++ (an important V, but not so new) – Many DSMS and stream