大数据技术综述.docVIP

大数据技术综述 Abstract: We are entering into a “big data” era. Due to the bottlenecks, such as poor scalability, installation and maintenance difficulties, fault tolerance and low performance, in traditional information technique framework, we need to leverage the cloud computing techniques and solutions to deal with big data problems. Cloud computing and big data are complementary to each other and have inherent connection of dialectical unity. The breakthrough of big data techniques will not only resolve the current situation, but also promote the wide application of cloud computing and the internet of things techniques. We focus on discussing the development and the pivotal techniques of big data. And provide a comprehensive description of big data from several perspectives, including the development of big data, the current data-burst situation, the relationship between big data and cloud computing and the big data techniques. Finally, we introduce the related technique researches and our current work. Key words: big data technique; cloud computing; data acquisition; data storage; data computation; presentation and interaction 摘 要: 我们正在进入一个“大数据”时代,传统的信息技术架构,存在着扩展性差、容错性差、性能低、安装部署及维护困难等诸多瓶颈,需要以现代云计算手段和技术来解决大数据问题.云计算与大数据是相辅相成、辨证统一的关系,大数据技术的突破不仅能解决现实困难,同时也会促使云计算、物联网技术真正落地并深入推广和应用.大数据的发展历程以及关键性的大数据技术,从大数据的发展历程、当前面临的大数据问题、大数据与云计算的关系以及大数据技术等方面进行综合描述. 关键词: 大数据技术;云计算;数据采集;数据存储;数据计算;展现与交互 中图法分类号: TP301　　　文献标识码: A 大数据的发展背景及定义 当今,信息技术为人类步入智能社会开启了大门,带动了互联网、物联网、电子商务、现代物流、网络金融等现代服务业发展,催生了车联网、智能电网、新能源、智能交通、智能城市、高端装备制造等新兴产业发展.现代信息技术正成为各行各业运营和发展的引擎.但这个引擎正面临着大数据这个巨大的考验[57].各种业务数据正以几何级数的形式爆发[1],其格式、收集、储存、检索、分析、应用等诸多问题,不再能以传统的信息处理技术加以解决,对人类实现数字社会、网络社会和智能社会带来了极大的障碍.纽约证券交易所每天产生1TB的交易数据;Twitter每天就会生成超过7TB的数据;Facebook每天会产生超过10TB的数据;位于欧洲粒子物理实验室的大型强子对撞机每年产生约15PB的数据.根据著名咨询公司IDC的调查与统计,07年全球信息量约为165EB,即使在全球遭遇金融危机的2009年,全球信息量仍达到800EB,比上一年度增长62%;未来每隔18个月,整个世界的数据总量就会翻倍;预计2020年这一数字将达到35ZB,约为2007年的230倍,而人类历史5000年的文字记载只有5EB数据.上述统计与调查预示着TB、PB、EB的时代已经成为过去,全球将正式进入数据存储的“泽它 Zetta 时代”. 从2009年开始,“大数据”成为互联网信息